第 8 / 22 課
Lesson 06 · 約 8 分鐘
名詞速查表
中英對照 · 學 AI 最常卡的術語
06 ・ 名詞速查表(中英對照)
學 AI 時最常卡在術語。這份把關鍵詞用「英文 / 中文 / 一句話」整理好,看到不懂的隨時查。
基礎 / 訓練
| 英文 | 中文 | 一句話 |
|---|---|---|
| Parameter / Weight | 參數 / 權重 | 模型裡會被訓練調整的數字;參數越多模型容量越大 |
| Gradient | 梯度 | 損失對參數的「斜率」,告訴你往哪調能讓誤差變小 |
| Gradient Descent | 梯度下降 | 沿梯度反方向一步步調參數,讓損失下降的最佳化方法 |
| Backpropagation | 反向傳播 | 用鏈鎖律從輸出往回算出每個參數梯度的演算法(見 code/04) |
| Loss / Cost | 損失 | 衡量「模型猜得多錯」的數字,訓練就是讓它變小 |
| Cross-Entropy | 交叉熵 | 分類/語言模型最常用的損失,比較預測機率與正確答案 |
| Learning Rate | 學習率 | 每步調參數的幅度;太大會發散,太小學得慢 |
| Epoch / Batch | 回合 / 批次 | 看完整份資料一遍叫一個 epoch;一次餵一小撮叫一個 batch |
| Optimizer (AdamW) | 優化器 | 決定「怎麼用梯度更新參數」的演算法,AdamW 最常見 |
| Overfitting | 過擬合 | 把訓練資料背死,沒看過的資料反而表現變差 |
| Regularization | 正則化 | 防過擬合的手段(如 dropout、weight decay) |
模型架構
| 英文 | 中文 | 一句話 |
|---|---|---|
| Neural Network | 神經網路 | 一層層線性轉換 + 非線性堆疊而成的函數 |
| Transformer | — | 現代 LLM 的主架構,核心是「注意力」 |
| Attention | 注意力 | 處理每個字時,依相關度加權參考其他字(softmax(QKᵀ/√d)V) |
| Embedding | 嵌入向量 | 把 token(或圖、音)變成一串數字向量 |
| Token | 詞元 | 模型處理文字的最小單位,約是一個字或詞的一小段 |
| Tokenizer / BPE | 斷詞器 | 把文字切成 token 的工具,BPE 是常見演算法(見 code/05) |
| Softmax | — | 把一組分數變成總和為 1 的機率分佈 |
| Logits | — | softmax 之前的「原始分數」 |
| MLP / FFN | 前饋網路 | Transformer 每層裡做非線性轉換、存知識的部分 |
| Parameter Count (7B) | 參數量 | 7B = 70 億個參數;常用來標模型大小 |
| MoE | 混合專家 | 有很多「專家」子網路,每個 token 只用其中幾個,省算力 |
訓練流程 / LLM
| 英文 | 中文 | 一句話 |
|---|---|---|
| Pretraining | 預訓練 | 在海量文字上「預測下一個 token」的大規模訓練 |
| Fine-tuning | 微調 | 在預訓練模型上,用較少資料針對特定任務再訓練 |
| SFT | 監督式微調 | 用「指令→好回答」教模型當助理 |
| RLHF / RLAIF | 人類/AI 回饋強化學習 | 用偏好(人或 AI 選的好壞)把模型對齊得更有用、安全 |
| Reward Model | 獎勵模型 | 學會預測「人比較喜歡哪個回答」的模型 |
| DPO | 直接偏好最佳化 | 不用跑 RL、直接用偏好資料對齊的簡化方法 |
| Constitutional AI | 憲法式 AI | Anthropic 的方法:讓模型對照原則自我批評修正(Claude 的訓練法) |
| Inference | 推理 | 用訓練好的模型實際生成答案 |
| Sampling / Temperature | 取樣 / 溫度 | 從機率分佈抽下一個字;溫度越高越隨機 |
| Context Window | 上下文長度 | 模型一次能看的 token 數上限 |
| Scaling Laws | 縮放定律 | 模型表現隨資料、參數、算力可預測地變好 |
應用 / 工程
| 英文 | 中文 | 一句話 |
|---|---|---|
| LoRA / QLoRA | 低秩微調 / 量化低秩微調 | 只訓練插入的小矩陣就能微調大模型;Q 版再加 4-bit 量化更省顯存(見 code/07) |
| RAG | 檢索增強生成 | 先檢索相關文件、再讓模型根據它回答,減少亂講 |
| Quantization | 量化 | 把權重用更少位元表示(如 4-bit),省顯存、加速 |
| Embedding (檢索用) | 向量檢索 | 把文字變成向量,用相似度找最相關的內容 |
| Agent | 代理 | 會自己用工具、分步完成任務的 LLM 應用 |
| Eval / Benchmark | 評估 / 基準 | 用測試題衡量模型好壞 |
| VRAM | 顯示卡記憶體 | 做深度學習最常見的瓶頸;選 GPU 先看它(見 docs/04) |
| GPU / CUDA | — | 跑深度學習的硬體;CUDA 是 NVIDIA 的運算平台 |
物理 AI / 強化學習
| 英文 | 中文 | 一句話 |
|---|---|---|
| Reinforcement Learning | 強化學習 | 靠「嘗試 + 獎勵」學會該怎麼行動(見 code/06) |
| Policy | 策略 | 「在某狀態下該採取什麼動作」的規則 |
| Q-learning | — | 學一張「狀態→動作有多好」表的 RL 經典方法 |
| World Model | 世界模型 | 學出來的「前向模型」,預測下一個世界狀態(見 code/03) |
| Model Predictive Control (MPC) | 模型預測控制 | 在模型裡想像多條路線、挑最好的、只走第一步、再重想 |
| Physical AI | 物理 AI | 會在真實世界感知與行動的 AI(機器人、自駕車) |
| Sim-to-Real | 模擬轉真實 | 在模擬裡訓練,再搬到真實世界用 |
| WFM (World Foundation Model) | 世界基礎模型 | NVIDIA Cosmos 那類大型世界模型 |
看到表外的詞,丟給我問就好。