第 5 /
22 課
約 15 分鐘
輝達物理 AI
三台電腦架構 + Cosmos / Isaac / Omniverse
這一課還沒有朗讀。
03 ・ 輝達（NVIDIA）的物理 AI 到底是什麼
接續
02_世界模型與規劃.md：世界模型是「物理腦」，這份講的是 NVIDIA 把它工業化的整套機器。
0. 什麼是「物理 AI（Physical AI）」
會在真實世界感知 + 行動的 AI——最典型就是機器人和自駕車。
它最大的痛點：真實資料稀少、危險、又慢又貴。你不可能讓機器人真的撞壞一萬次來學，也不可能開著自駕車去製造一萬次車禍來蒐集邊角案例。NVIDIA 整套東西，就是在解這個痛點。
1. 核心框架：「三台電腦」
NVIDIA 把物理 AI 的流程拆成三台電腦：
| 角色 | 跑什麼硬體 | 做什麼 | |
|---|---|---|---|
| ① 訓練（Train） | 訓練模型 | DGX / 資料中心 GPU | 訓練策略模型與世界模型 |
| ② 模擬（Simulate） | 資料工廠 + 測試場 | Omniverse + Cosmos | 造出符合物理的虛擬世界，生成合成資料、在模擬裡測試（數位孿生／健身房） |
| ③ 部署（Deploy） | 機器人的大腦 | Jetson Thor（機器人）/ DRIVE（車） | 在真實世界即時跑訓練好的模型 |
Cosmos 就住在第②台。
2. Cosmos 細部：一個「世界基礎模型」平台
Cosmos 不是單一模型，而是一整套世界基礎模型（World Foundation Models, WFM），主要三塊：
- Cosmos-Predict：給目前畫面（可加動作），生成接下來會發生的影片／世界狀態——核心的「預測未來」引擎（對應
02講的世界模型s[t+1]=f(s[t],a[t])，只是用影片等級的生成模型實作）。 - Cosmos-Transfer：可控的世界轉換與擴增——把模擬畫面變得更逼真，或把同一個場景變出各種天氣、光照、材質版本。這就是 sim-to-real（模擬轉真實） 和資料擴增。
- Cosmos-Reason：VLM 式的推理模型，用長鏈思考理解物理常識、做具身決策（這塊就比較像 LLM/VLM）。
- 底下還有 Tokenizer：把影像／影片壓成 token，讓「世界」能被生成模型處理。
架構上，新一代的 Cosmos 3 是把上述能力統合成一個 omni-model（Mixture-of-Transformers），可以當作 World Action Models（會輸出動作的世界模型） 的骨幹。而且 Cosmos 多為開放權重（open-weight），你在 Hugging Face 拿得到——想玩是真的玩得到。
3. 把它串起來：資料飛輪（Data Flywheel）
真實資料
│ （用 Cosmos / Omniverse 放大）
▼
海量、物理準確、已標註的「合成資料」
│
▼
訓練更好的策略 / 世界模型 ──► 在模擬裡測試 ──► 部署到機器人
│
▼
機器人收集新的真實資料
│
└───────► （回到最上面，循環）
整個 Cosmos 存在的理由，就是打破「真實資料不夠」這個瓶頸：用世界模型把少量真實資料，放大成幾乎無限、又符合物理的訓練素材。
4. 它和 LLM 的關係（把三份講義收起來）
- LLM＝「語言腦」：預測下一個字。（見
01） - 世界模型＝「物理腦」：預測下一個世界狀態。（見
02） - NVIDIA 的三台電腦＝把這兩種腦「訓練好、在模擬裡練熟、再裝進機器人」的整套產線。（本篇）
兩者不是對手，是平行的兩條主幹。實務上的機器人系統往往兩種腦一起用：LLM/VLM 規劃與理解語意，世界模型做物理預測與控制。Cosmos 3 甚至把語言推理（Reason）和世界生成（Predict）做進同一個模型。
5. 你可以動手 / 深入的下一步
- 先建立直覺：跑本包的
code/03_world_model_planning.py，那就是物理 AI 規劃的最小縮影。 - 模擬環境：NVIDIA Isaac Sim / Omniverse（機器人模擬）、Isaac Lab（機器人強化學習）。
- 世界模型本體：Cosmos 的開放權重在 Hugging Face；想看世界模型 RL 的經典，讀 DreamerV3。
- 觀念延伸：把
02的線性世界模型換成神經網路 + 影像輸入，就一步步逼近真實 Cosmos 在做的事。
註：本篇的產品細節（Cosmos 版本、元件名稱、硬體型號）以 2026 年中為準，且 NVIDIA 更新很快；要最新資訊請查 NVIDIA 官方頁面。