06 ・ 名詞速查表(中英對照)
學 AI 時最常卡在術語。這份把關鍵詞用「英文 / 中文 / 一句話」整理好,看到不懂的隨時查。
基礎 / 訓練
| 英文 |
中文 |
一句話 |
| Parameter / Weight |
參數 / 權重 |
模型裡會被訓練調整的數字;參數越多模型容量越大 |
| Gradient |
梯度 |
損失對參數的「斜率」,告訴你往哪調能讓誤差變小 |
| Gradient Descent |
梯度下降 |
沿梯度反方向一步步調參數,讓損失下降的最佳化方法 |
| Backpropagation |
反向傳播 |
用鏈鎖律從輸出往回算出每個參數梯度的演算法(見 code/04) |
| Loss / Cost |
損失 |
衡量「模型猜得多錯」的數字,訓練就是讓它變小 |
| Cross-Entropy |
交叉熵 |
分類/語言模型最常用的損失,比較預測機率與正確答案 |
| Learning Rate |
學習率 |
每步調參數的幅度;太大會發散,太小學得慢 |
| Epoch / Batch |
回合 / 批次 |
看完整份資料一遍叫一個 epoch;一次餵一小撮叫一個 batch |
| Optimizer (AdamW) |
優化器 |
決定「怎麼用梯度更新參數」的演算法,AdamW 最常見 |
| Overfitting |
過擬合 |
把訓練資料背死,沒看過的資料反而表現變差 |
| Regularization |
正則化 |
防過擬合的手段(如 dropout、weight decay) |
模型架構
| 英文 |
中文 |
一句話 |
| Neural Network |
神經網路 |
一層層線性轉換 + 非線性堆疊而成的函數 |
| Transformer |
— |
現代 LLM 的主架構,核心是「注意力」 |
| Attention |
注意力 |
處理每個字時,依相關度加權參考其他字(softmax(QKᵀ/√d)V) |
| Embedding |
嵌入向量 |
把 token(或圖、音)變成一串數字向量 |
| Token |
詞元 |
模型處理文字的最小單位,約是一個字或詞的一小段 |
| Tokenizer / BPE |
斷詞器 |
把文字切成 token 的工具,BPE 是常見演算法(見 code/05) |
| Softmax |
— |
把一組分數變成總和為 1 的機率分佈 |
| Logits |
— |
softmax 之前的「原始分數」 |
| MLP / FFN |
前饋網路 |
Transformer 每層裡做非線性轉換、存知識的部分 |
| Parameter Count (7B) |
參數量 |
7B = 70 億個參數;常用來標模型大小 |
| MoE |
混合專家 |
有很多「專家」子網路,每個 token 只用其中幾個,省算力 |
訓練流程 / LLM
| 英文 |
中文 |
一句話 |
| Pretraining |
預訓練 |
在海量文字上「預測下一個 token」的大規模訓練 |
| Fine-tuning |
微調 |
在預訓練模型上,用較少資料針對特定任務再訓練 |
| SFT |
監督式微調 |
用「指令→好回答」教模型當助理 |
| RLHF / RLAIF |
人類/AI 回饋強化學習 |
用偏好(人或 AI 選的好壞)把模型對齊得更有用、安全 |
| Reward Model |
獎勵模型 |
學會預測「人比較喜歡哪個回答」的模型 |
| DPO |
直接偏好最佳化 |
不用跑 RL、直接用偏好資料對齊的簡化方法 |
| Constitutional AI |
憲法式 AI |
Anthropic 的方法:讓模型對照原則自我批評修正(Claude 的訓練法) |
| Inference |
推理 |
用訓練好的模型實際生成答案 |
| Sampling / Temperature |
取樣 / 溫度 |
從機率分佈抽下一個字;溫度越高越隨機 |
| Context Window |
上下文長度 |
模型一次能看的 token 數上限 |
| Scaling Laws |
縮放定律 |
模型表現隨資料、參數、算力可預測地變好 |
應用 / 工程
| 英文 |
中文 |
一句話 |
| LoRA / QLoRA |
低秩微調 / 量化低秩微調 |
只訓練插入的小矩陣就能微調大模型;Q 版再加 4-bit 量化更省顯存(見 code/07) |
| RAG |
檢索增強生成 |
先檢索相關文件、再讓模型根據它回答,減少亂講 |
| Quantization |
量化 |
把權重用更少位元表示(如 4-bit),省顯存、加速 |
| Embedding (檢索用) |
向量檢索 |
把文字變成向量,用相似度找最相關的內容 |
| Agent |
代理 |
會自己用工具、分步完成任務的 LLM 應用 |
| Eval / Benchmark |
評估 / 基準 |
用測試題衡量模型好壞 |
| VRAM |
顯示卡記憶體 |
做深度學習最常見的瓶頸;選 GPU 先看它(見 docs/04) |
| GPU / CUDA |
— |
跑深度學習的硬體;CUDA 是 NVIDIA 的運算平台 |
物理 AI / 強化學習
| 英文 |
中文 |
一句話 |
| Reinforcement Learning |
強化學習 |
靠「嘗試 + 獎勵」學會該怎麼行動(見 code/06) |
| Policy |
策略 |
「在某狀態下該採取什麼動作」的規則 |
| Q-learning |
— |
學一張「狀態→動作有多好」表的 RL 經典方法 |
| World Model |
世界模型 |
學出來的「前向模型」,預測下一個世界狀態(見 code/03) |
| Model Predictive Control (MPC) |
模型預測控制 |
在模型裡想像多條路線、挑最好的、只走第一步、再重想 |
| Physical AI |
物理 AI |
會在真實世界感知與行動的 AI(機器人、自駕車) |
| Sim-to-Real |
模擬轉真實 |
在模擬裡訓練,再搬到真實世界用 |
| WFM (World Foundation Model) |
世界基礎模型 |
NVIDIA Cosmos 那類大型世界模型 |
看到表外的詞,丟給我問就好。