Lesson 04 · 約 10 分鐘
建議硬體規格
從 8 GB VRAM 到 multi-GPU 工作站
04 ・ 建議硬體規格
一句話結論：學 AI 不必先買貴電腦。 本學習包的範例用筆電（CPU）就能跑；要練微調，先用免費雲端 GPU（Colab / Kaggle），需要更大再考慮租或買。
最關鍵的指標：VRAM（顯示卡記憶體）
做深度學習，GPU 的 VRAM（顯存）大小，比算力更常是瓶頸——模型 + 資料放不進 VRAM 就跑不動。所以選卡先看 VRAM。其次才是算力、然後是系統 RAM 與 SSD。
能力分級（VRAM → 你能做什麼）
| VRAM | 推論（跑現成模型） | 微調（LoRA/QLoRA 4-bit） | 全參數微調 | 預訓練 |
|---|---|---|---|---|
| 無 GPU（CPU） | 跑得動小模型，很慢 | ❌（太慢） | ❌ | ❌ |
| 8 GB | 量化後的 7B 可推論 | 勉強微調 3B 左右 | ❌ | ❌ |
| 12 GB | 7B 量化推論順 | QLoRA 微調 7B | ❌ | ❌ |
| 16 GB | 7~13B 量化推論 | QLoRA 7~13B 舒適 | 很小的模型 | ❌ |
| 24 GB | 13B 推論、部分 30B 量化 | QLoRA 13~34B | 7B 級可嘗試 | ❌（個人不可行） |
| 48 GB（A6000 等） | 30B+ 量化 | 較大模型 LoRA | 7~13B | ❌ |
| 80 GB（A100/H100） | 70B 量化 | 70B QLoRA | 13~34B | 仍需多卡叢集 |
QLoRA = 把模型壓成 4-bit 再用 LoRA 微調，是個人能用小卡微調大模型的關鍵技巧。
三條路線
路線 A：完全不買硬體（最推薦新手）⭐
- Google Colab：免費版就有 GPU（額度有限）；Colab Pro 便宜、能用更好的卡。
- Kaggle Notebooks：每週免費約 30 小時 GPU（甚至 TPU），還有資料集與社群。
- 需要更大時按小時租：RunPod、Vast.ai、Lambda 等，租一張 A100/H100 幾小時做完就關，比買划算。
- 適合：第 0～4 站的學習與大部分微調練習。先走這條，確定要長期投入再考慮買。
路線 B：買一台自己的（想長期、頻繁實驗）
- 入門桌機：NVIDIA RTX 4060 Ti 16GB 或 RTX 4070 級（12GB）；夠你跑 tiny GPT、QLoRA 微調 7B、跑量化推論。
- 進階桌機：RTX 4080/4090（16/24GB），或 RTX 50 系列（如 5080/5090，VRAM 更大，以發售時實際規格為準）。24GB 能舒服做 QLoRA 13~34B、跑 13B 推論。
- 搭配：系統 RAM ≥ 32GB（建議 64GB）、1TB 以上 NVMe SSD（資料集很吃空間）、足夠的電源與散熱。
- 筆電：可買有 RTX 40/50 系列獨顯、VRAM ≥ 8GB 的機型，但桌機同價位 CP 值更高、散熱更好。
路線 C：訓練大模型 / 多卡 / 預訓練
- 多張 4090 / A6000，或資料中心級 A100 / H100（80GB）多卡叢集。
- 個人幾乎都用租的，不會自購。預訓練前沿模型要上百～上千張 H100/B200、成本以百萬美元計——這層是實驗室/公司的事，誠實講不適合個人。
給你的具體建議
- 現在就開始、先不花錢：用 Colab 免費版 + Kaggle 免費 GPU 跑完本包與第 0～4 站；需要大一點的微調時，到 RunPod 租幾小時。
- 若決定買桌機：RTX 4070 Ti SUPER 16GB（CP 值）或 RTX 4090 24GB（更有餘裕）＋ 64GB RAM ＋ 1TB NVMe。
- 本學習包跑起來要多少：
01與03（純 numpy）任何電腦都行；02_tiny_gpt.pyCPU 幾分鐘可跑完，有 8GB 以上 GPU 會更快。
註：顯卡型號、VRAM、價格與供貨會隨時間變動（本文以 2026 年中的常見機種為準）。實際採購前請查當下的型號與價格，並以 VRAM 大小 為主要決策依據。