第 2 / 22 課
Lesson 00 · 約 10 分鐘
學習路線圖
兩天上手 → 兩週理解 → 一季實作
00 ・ 學習路線圖：從零到「業界覺得你很懂 AI」
這份是整包的「主地圖」。其他講義（01 LLM、02 世界模型、03 物理 AI）是其中幾站的深入內容； 程式（code/）是讓你「真的動手做」的練習。建議從這份開始。
先講清楚：「業界覺得你很懂 AI」是什麼意思？
不是「看完很多課程」，而是這四件事同時成立：
- 內功：你懂模型為什麼會動——backprop、最佳化、Transformer/注意力、訓練與評估，能講清楚、能手寫。
- 實戰：你能用 PyTorch + Hugging Face 把東西做出來、微調、部署、評估，不只是跑別人的 notebook。
- 作品：你的 GitHub 有真的專案（微調過的模型、RAG 應用、重現過的論文），別人看得到。
- 能讀論文：拿到一篇 arXiv 論文，你讀得懂、講得出重點、最好能重現它的核心。
做到這四點，履歷與面試自然有底氣。時間參考：認真投入大約 6～12 個月（每週 10～15 小時）。你有電子/訊號背景，數學底子強、也會寫程式，前面幾站可以走很快。
路線總覽（七站）
| 站 | 主題 | 大概時間 | 你會得到的「里程碑」 |
|---|---|---|---|
| 0 | 基礎：Python + 數學 | 2～4 週 | 能用 numpy 手刻簡單模型 |
| 1 | 機器學習基礎 | 3～5 週 | 能訓練/評估一個分類器、講清楚過擬合 |
| 2 | 深度學習 + PyTorch | 4～6 週 | 能用 PyTorch 訓練 CNN/文字模型、手寫 backprop |
| 3 | Transformer / LLM 內功 | 4～6 週 | 能從零寫出 nanoGPT 並解釋每一行 |
| 4 | 應用 LLM（業界實戰） | 6～10 週 | 能用 LoRA 微調開源模型、做 RAG、部署成 API |
| 5 | 專精方向（含物理 AI/RL） | 6～12 週 | 能重現一篇論文的核心 |
| 6 | 持續 + 社群信譽 | 長期 | 有作品集、寫過技術文章、貢獻開源 |
第 0 站 ・ 基礎：Python + 數學
- 學：Python（資料結構、numpy、matplotlib、git、Jupyter）；數學複習——線性代數（向量/矩陣/特徵值）、微積分（梯度、鏈鎖律）、機率統計。
- 你的優勢：電子/訊號背景＝線性代數和微積分你早就會，這站主要是補機率與 Python 熟練度，可加速。
- 做：用 numpy 手刻線性回歸 + 梯度下降（不准用現成函式庫）。
- 資源：3Blue1Brown《線性代數的本質》《微積分的本質》（英文，有中文字幕，視覺超直覺）。
- 里程碑：能解釋「梯度下降為什麼能讓 loss 變小」，並用 numpy 寫出來。
第 1 站 ・ 機器學習基礎
- 學：監督式學習、train/val/test 切分、過擬合與正則化、損失函數、評估指標（accuracy/precision/recall/F1）、基本模型（線性/邏輯回歸、決策樹）。
- 做：用 scikit-learn 在一個資料集上訓練分類器；自己切資料、畫學習曲線、診斷過擬合。
- 資源：李宏毅老師「機器學習」（台大、中文、YouTube 免費，超推給你）；Andrew Ng《Machine Learning Specialization》（英文）。
- 里程碑：能講清楚「為什麼 val loss 上升代表過擬合」，並示範怎麼緩解。
第 2 站 ・ 深度學習 + PyTorch
- 學：神經網路、反向傳播、CNN、RNN、訓練技巧（batch norm、dropout、學習率排程）；把 PyTorch 練熟。
- 做：用 PyTorch 訓練影像分類器（如 CIFAR-10）＋ 一個文字分類器；跟著 Karpathy 的 micrograd 手寫一個會自動微分的小引擎。
- 資源：《動手學深度學習》d2l.ai（有繁/簡中文版，PyTorch 程式，免費）；Andrej Karpathy「Neural Networks: Zero to Hero」（英文 YouTube，這系列是黃金標準，本學習包的 tiny GPT 就是同一套）；fast.ai（英文）。
- 里程碑：能手寫 backprop、能獨立用 PyTorch 把一個模型從資料到訓練到評估跑完。
第 3 站 ・ Transformer / LLM 內功（本包重點）
- 學：注意力
softmax(QKᵀ/√d)V、Transformer 架構、tokenization、embedding、預訓練（交叉熵）、後訓練（SFT/RLHF/DPO）、推理（取樣）。全部在docs/01_LLM_原理.md。 - 做：
- 跑本包
code/01_attention_from_scratch.py（把注意力看成數字）。 - 跑本包
code/02_tiny_gpt.py（迷你 GPT 訓練 + 生成），把每一行對照講義看懂。 - 進階：跟著 Karpathy 從零寫 nanoGPT，並換成更大的文字資料；自己實作一個 BPE tokenizer。
- 跑本包
- 資源：論文〈Attention Is All You Need〉；Jay Alammar〈The Illustrated Transformer〉（英文圖解）；李宏毅「生成式 AI」系列（中文）。
第 4 站 ・ 應用 LLM（這一站最讓業界買單）
- 學：Hugging Face 生態（transformers、datasets、PEFT、TRL）；LoRA / QLoRA 微調；SFT；RLHF/DPO 概念；RAG（檢索增強生成）；prompt engineering；評估（evals）；推理優化（量化、vLLM）；Agent 基礎。
- 做（這些就是你的作品集）：
- 用 LoRA/QLoRA 微調一個開源模型（如 Llama / Qwen / Mistral）在你自己整理的資料上（你做教材、做股票分析——正好有題材！）。
- 做一個 RAG 應用（把一堆 PDF 變成可問答的助理）。
- 把模型部署成 API（FastAPI + 量化模型），或做成小網站。
- 做一個簡單 Agent（會用工具/查資料）。
- 資源：Hugging Face 官方課程（免費，有社群中文翻譯）；各框架官方文件（英文，要習慣讀）。
第 5 站 ・ 專精方向（挑一條深入）
挑一個你最有興趣的軌道往深裡鑽（你對物理 AI/世界模型有興趣，B 軌很適合）：
- A・LLM/NLP 研究：讀並重現論文、研究新技術、追前沿。
- B・物理 AI / 機器人 / 強化學習（你的興趣）：
- 學：強化學習（OpenAI Spinning Up，英文）、模擬環境（Gymnasium、MuJoCo、NVIDIA Isaac Lab）、世界模型（讀 DreamerV3）、Cosmos（開放權重在 Hugging Face）。對應
docs/02、docs/03。 - 做：把本包
code/03_world_model_planning.py的線性模型換成神經網路 + 影像輸入；在 Gymnasium 訓練一個 RL agent；玩 Isaac Lab。
- 學：強化學習（OpenAI Spinning Up，英文）、模擬環境（Gymnasium、MuJoCo、NVIDIA Isaac Lab）、世界模型（讀 DreamerV3）、Cosmos（開放權重在 Hugging Face）。對應
- C・MLOps / 部署 / 系統：分散式訓練、模型服務、效能優化、雲端。
第 6 站 ・ 持續 + 社群信譽（長期）
- 追前沿：定期讀 arXiv（英文）、追幾個關鍵研究者/實驗室、看技術部落格。
- 建立信譽：把專案放 GitHub、寫技術文章（中英都可）、參加 Kaggle、貢獻開源專案。
- 這一站就是「業界覺得你很懂」的外顯證據：不是你說你懂，而是別人從你的作品、文章、貢獻看出你懂。
資源總表（標注語言）
中文（適合你起步、建立直覺）
- 李宏毅（台大）機器學習 / 深度學習 / 生成式 AI ── YouTube 免費，講得超清楚 ⭐
- 《動手學深度學習》d2l.ai ── 有中文版、PyTorch 程式、免費 ⭐
- Hugging Face 課程 ── 有社群中文翻譯
英文（前沿必備，越往後越需要）
- Andrej Karpathy「Neural Networks: Zero to Hero」── YouTube，手把手從零 ⭐⭐
- 《Dive into Deep Learning》d2l.ai（英文原版）
- fast.ai「Practical Deep Learning」
- 3Blue1Brown（數學/神經網路視覺化）
- Jay Alammar「Illustrated Transformer / GPT」
- OpenAI「Spinning Up in Deep RL」（RL 軌）
- Stanford CS231n（視覺）/ CS224n（NLP）課程資料
- arXiv（論文一手來源）、Papers with Code
務實提醒：剛開始用中文資源建立直覺最省力；但你的目標是「業界認可」，所以請刻意練習讀英文官方文件與論文——這本身就是被高度評價的能力之一。
怎麼用這個學習包
- 先讀這份路線圖，挑你目前在哪一站。
- 第 0 站（數學）：讀
docs/08_深入講義_核心數學與直覺.md+ 跑code/10_math_foundations.py。 - 第 2~3 站：
docs/01+docs/08+code/01、02；想親手寫就做code/02b_tiny_gpt_exercise.py與code/exercises/。 - 第 4 站（業界最買單）：
code/08_mini_rag.py（RAG）、code/09_eval_basics.py（評估）、code/07（LoRA 參考）。 - 第 5 站 B 軌：
docs/02、docs/03+code/03、06；想碰生成模型跑code/11_mini_diffusion.py。 - 每讀完一段、跑完程式，回去做
docs/09_習題與自我檢測.md對應關卡的題（先自己做再看答案）。 - 第 5~6 站（往研究走）：讀
docs/10_進階_像研究者一樣_重現論文.md——重現階梯、讀論文三遍法、capstone 專案，把「理解 AI」接到「做出 AI」。 - 硬體怎麼準備，看
docs/04_建議硬體規格.md。
不想一直切出去看影片？
docs/08把核心數學與直覺用「文字 + 實際數字」講到自給自足， 影片變成「想換個講法加深」的選配，不再是必修。