Lesson 11 · 約 15 分鐘

AI 大神與核心理論

從 LeCun / Hinton / Sutskever 看領域脈絡

11 ・ AI 大神與核心理論：誰想出了什麼，對應本包哪支程式

這份把推動現代 AI 的關鍵人物與他們的核心理論整理出來，每一條都接到：(a)一句話的核心洞見、(b)本包對應的可跑程式或講義、(c)值得讀/重現的代表作。用意：讓你知道「你跑的每支程式，背後是誰的哪個想法」——這也是讀論文時的人物地圖。

一條主線：這些理論其實在回答同一個問題

「怎麼讓機器從資料中自己學會規律？」

從「手刻反向傳播」到「縮放定律」，都是這條主線的不同片段。記住這條線，下面就不只是人名清單。

🧠 學習與最佳化的根基

Geoffrey Hinton ── 反向傳播、深度學習之父

核心洞見：用反向傳播把誤差的梯度一層層往回傳，多層神經網路就能訓練（1986 推廣）。後來的 AlexNet（2012）點燃深度學習革命。
延伸理論：Boltzmann machine、dropout、知識蒸餾（distillation）；近年提出 forward-forward、並公開示警 AI 風險。
接到本包：code/04_autograd_from_scratch.py（手刻反向傳播）、docs/08 第 2 節。
讀：〈Learning representations by back-propagating errors〉(1986)、〈ImageNet/AlexNet〉(2012)。

Yoshua Bengio ── 深度學習理論、注意力前驅

核心洞見：深層表示學習、神經語言模型（2003 用神經網路做語言建模）、注意力機制的早期形式（2014 神經機器翻譯）。
延伸：近年轉向 AI 安全與「能推理的機率模型」。
接到本包：docs/01（語言建模）、code/01（注意力的源頭之一）。

Yann LeCun ── 卷積網路、世界模型倡議者

核心洞見：CNN（卷積網路，1989 用於手寫辨識）——「局部連接 + 權重共享 + 平移不變」。
延伸理論：自監督學習、能量模型（EBM）、JEPA / 世界模型；公開主張「純自迴歸 LLM 不足以通往 AGI，要能在抽象空間預測的世界模型」。
接到本包：code/12_cnn_vision.py（CNN）、docs/02 + code/03（世界模型）。
讀：〈Gradient-based learning applied to document recognition〉(LeNet)、他的 JEPA 論文。

Richard Sutton ── 強化學習、The Bitter Lesson

核心洞見（RL）：智能可由「嘗試 + 獎勵」學出來；時序差分（TD）學習、《Reinforcement Learning: An Introduction》(與 Barto，RL 聖經)。
The Bitter Lesson（苦澀的教訓，2019）：AI 歷史一再證明——靠「通用方法 + 更多算力（搜尋與學習）」長期勝過「人手塞進去的領域知識」。這是「縮放」哲學的思想根。
接到本包：code/06_rl_qlearning.py（Q-learning）、docs/02；docs/01 第 4 節的縮放定律與這條教訓互相呼應。
讀：《RL: An Introduction》(免費 PDF)、短文〈The Bitter Lesson〉(必讀，10 分鐘)。

🏗️ 架構與生成的突破

Ashish Vaswani 等 ── Transformer〈Attention Is All You Need〉

核心洞見：丟掉 RNN 的逐步遞迴，只用注意力就能建模序列——可大規模平行訓練、長程關係一步直連。這是當代所有 LLM 的地基。
接到本包：code/01_attention_from_scratch.py、code/02_tiny_gpt.py、docs/01 第 3 節、docs/08 第 3 節。
讀（必重現）：〈Attention Is All You Need〉(2017)。

Kaiming He ── ResNet 殘差學習

核心洞見：殘差連接 x + f(x) 讓「梯度有直通車」，極深的網路（上百層）才訓練得動。今天 Transformer 的每個 block 都用它。
接到本包：code/02_tiny_gpt.py 的 Block（殘差）、docs/08 第 2 節「為什麼要殘差」。
讀：〈Deep Residual Learning〉(ResNet, 2015)、〈Masked Autoencoders〉(MAE)。

Ian Goodfellow ── GAN 生成對抗網路

核心洞見：兩個網路對抗（生成器造假、判別器抓假），互相逼強 → 學會生成逼真資料。
接到本包：docs/07（生成模型三大類之一）；和 code/11_mini_diffusion.py 的 Diffusion 互為對照。
讀：〈Generative Adversarial Nets〉(2014)。

Jürgen Schmidhuber 團隊 ── LSTM、World Models、好奇心

核心洞見：LSTM（長短期記憶，1997）解決 RNN 長程記憶問題，曾是序列建模主力；並早早提出世界模型與「好奇心驅動」探索。
接到本包：docs/02 + code/03_world_model_planning.py（世界模型）。
讀：〈Long Short-Term Memory〉、〈World Models〉(Ha & Schmidhuber, 2018)。

Diederik Kingma 等 ── VAE 與 Adam 優化器

核心洞見：VAE（變分自編碼器）學「資料的潛在結構」並能生成；Adam 是今天最常用的優化器（你在 code/11、code/02 都用到）。
接到本包：code/11_mini_diffusion.py（手刻 Adam）、code/02（AdamW）。

📈 規模、應用與對齊

Ilya Sutskever ── 序列學習、規模信仰、壓縮即理解

核心洞見：seq2seq（2014）、推動 GPT 路線；核心哲學——「把『預測下一個 token』做到極好，本質是壓縮；能壓縮就代表理解了產生資料的規律」，智能是這目標被推到極大規模後長出來的。
接到本包：docs/01（LLM 全篇）、code/02_tiny_gpt.py、docs/10 第 0 節（這條哲學是整包「同一套引擎」的根）。
讀：〈Sequence to Sequence Learning〉(2014)、GPT 系列論文。

OpenAI（Kaplan, Brown 等）── Scaling Laws 縮放定律

核心洞見：模型表現隨「資料 × 參數 × 算力」可預測地變好（冪律）；〈GPT-3〉證明夠大的模型能「少樣本/零樣本」學新任務。後續〈Chinchilla〉(DeepMind) 修正了「資料與參數該怎麼配比」。
接到本包：docs/01 第 4 節（縮放定律）、docs/10 第 2 節（重現 GPT-2 那一階）。
讀：〈Scaling Laws for Neural LMs〉、〈GPT-3〉、〈Chinchilla〉。

Andrej Karpathy ── 教育、Software 2.0、nanoGPT

核心洞見：「Software 2.0」——很多程式將由「資料訓練出的權重」取代手寫邏輯；並以 micrograd / nanoGPT 把「從零實作」教育普及化。
接到本包：本包的 code/04(micrograd 精神)、code/02(nanoGPT 精神) 直接源於他的教學；docs/10 的重現階梯以他的課為主線。
讀/做：「Neural Networks: Zero to Hero」系列（強烈建議跟著重寫一遍）。

Demis Hassabis（DeepMind）── RL + 搜尋、AI for Science

核心洞見：RL + 深度學習 + 搜尋的結合——AlphaGo / AlphaZero / MuZero（自己學環境模型再規劃）；AlphaFold 把 AI 用於解科學難題（蛋白質結構，相關工作獲諾貝爾化學獎肯定）。
接到本包：code/06(RL)、code/03(世界模型/規劃)、docs/02、docs/07(AI for Science)。
讀：〈AlphaGo〉、〈MuZero〉、〈AlphaFold〉。

Fei-Fei Li ── ImageNet、資料為本、空間智能

核心洞見：資料驅動——ImageNet（2009）這個大規模標註資料集，是點燃深度學習視覺革命的關鍵燃料。提醒「資料和演算法一樣重要」。
接到本包：docs/01 第 1 節（資料品質）、code/12_cnn_vision.py（視覺）。

Dario Amodei、Chris Olah 等（Anthropic）── 對齊、Constitutional AI、可解釋性

核心洞見：Constitutional AI——讓模型對照一套寫好的「原則（憲法）」自我批評、自我修正，用 AI 回饋（RLAIF）對齊（這是塑造 Claude 的關鍵）；機制可解釋性（mechanistic interpretability）——試圖打開神經網路這個黑盒、看懂裡面的「電路」。
接到本包：docs/01 第 5 節（後訓練 / Constitutional AI）。
讀：〈Constitutional AI〉、〈Toy Models of Superposition〉、Anthropic interpretability 系列。

怎麼用這份

當人物地圖：讀論文時，先定位作者屬於哪條主線、解決主線的哪一段，理解會快很多。
配著重現階梯走（docs/10）：每爬一階，回來看「這一階是誰的哪個想法」，把理論與你親手寫的程式對上。
必讀的兩篇短文（CP 值最高）：Sutton〈The Bitter Lesson〉、Karpathy〈Software 2.0〉——都很短、都會改變你看 AI 的角度。

收尾：這些人共通點不是天才光環，而是對一個問題長期死磕、並親手把想法做出來驗證。你要走的，就是同一條路——從 docs/10 的重現階梯第一階開始。