Humanoid-GPT：用 GPT 擴大動作追蹤

Humanoid-GPT 用 GPT 風格 Transformer 與 20 億幀動作資料，主打零樣本全身動作追蹤與更強泛化。

• 研究機構：arXiv 摘要未明確標註
• 核心數據：2B-frame retargeted corpus
• 突破點：GPT式因果 Transformer

這篇論文的重點很直接：人形機器人的動作追蹤，不一定要靠小型 MLP 跟手工限制住的資料集。作者主張，把資料規模拉大、把模型做成序列式生成架構，才有機會同時兼顧高動態動作與零樣本泛化。

對做 humanoid control 的團隊來說，這不是單純換模型而已，而是整個問題定義的轉向。以前常見的做法，是讓 tracker 在有限動作分布裡表現穩定；這篇則是把 motion tracking 當成一個可以用 GPT-style Transformer 來建模的序列問題，目標是讓系統面對沒看過的動作時，還能繼續追得住。

它想解的痛點是什麼

摘要先點出舊方法的限制：先前的 tracker 多半是 shallow MLP-based 系統，而且受限於資料稀缺。這會帶來一個很實際的工程困境。你若把系統調得很敏捷，常常會犧牲泛化；你若把泛化拉高，又可能追不上複雜、快速的動作。

這種取捨在控制系統很常見。訓練資料一旦太窄，模型在真實世界稍微偏離預期時就容易變脆。Humanoid-GPT 的論文就是想跳出這個框架，不是再做一個更精巧的小 tracker，而是直接把資料和模型一起放大。

而且它處理的不是玩具級 benchmark，而是 whole-body control。也就是說，問題不只是預測姿勢，而是要在多樣動作與控制任務下，穩定追蹤整個身體的運動。

Humanoid-GPT 怎麼運作

這篇的核心想法，是把 motion tracking 改寫成序列建模。Humanoid-GPT 被描述為一個 GPT-style Transformer，並使用 causal attention。白話來說，它會把動作視為一串有順序的資料，根據前面的動作上下文，去預測後續輸出。這和 motion 的特性很合：時間、連續性、前後關係都很重要。

資料面也很關鍵。模型是先在一個 20 億幀的 retargeted corpus 上預訓練。摘要說，這個語料整合了所有主要 mocap datasets，還加上大規模的 in-house recordings。換句話說，作者不是只拿幾個小資料集拼一拼，而是想建立一個更通用的 motion foundation。

「retargeted」這個詞也透露出實作上的必要性。不同 mocap 來源常常有不同骨架、不同 rig、不同捕捉設定。把它們整合起來，通常代表前處理要先做標準化，讓這些資料能放在同一個訓練框架裡一起學。摘要沒有公開完整 preprocessing pipeline，所以不能替它補細節，但方向很明確：先統一資料，再用大規模訓練去吃下去。

另一個值得注意的點是 causal attention。這表示它不是單純做一個靜態映射，而是走 autoregressive 的路線，用過去的序列資訊來生成下一步。對開發者來說，這就是它和 shallow MLP tracker 的差別：一個是序列式建模，一個是較直接的回歸式映射。

論文實際證明了什麼

摘要說作者做了 extensive experiments 和 scaling analyses，並宣稱模型建立了新的 performance frontier。它的結果重點有兩個：第一，對 unseen tasks 有 robust zero-shot generalization；第二，對 highly dynamic and complex motions 仍然能維持追蹤能力。

但要注意，這份摘要沒有公開完整 benchmark 數字。沒有具體分數、沒有列出測試集名稱，也沒有百分比提升。因此，從目前可見的資訊來看，我們只能說它主張有明顯進展，還不能直接量化進步幅度。

不過，措辭本身已經很有訊號。它不是只說「表現更好」，而是同時強調 zero-shot 與 dynamic tracking。這兩件事通常很難一起做到。很多 tracker 在熟悉動作上很穩，但一碰到新任務就掉；也有些方法泛化較好，但追高動態動作時不夠靈敏。這篇論文想證明的是，scale 可以幫它兩邊都顧到。

摘要也暗示，提升不是單靠某一個技巧，而是 data scale 與 model capacity 一起拉上去的結果。這對工程團隊很重要，因為它給出的方向不是「再加一層 trick」，而是「把 motion tracking 當成大型序列模型問題來做」。

對開發者有什麼影響

如果你在做 humanoid control、模擬環境、motion imitation pipeline，或是 robotics research stack，這篇的啟發很明確：motion tracking 可能不該再被當成小型 regression 問題，而應該被看成大型 generative sequence problem。

這個觀點會直接影響資料策略。你不能只想著收一點任務資料就訓練一個 tracker，而是要思考如何建立更大的 motion corpus、如何統一不同 mocap 來源、以及如何讓模型在更廣的動作分布上學到規律。對想做 general-purpose humanoid 的團隊來說，這可能意味著更少的 per-task retraining。

它也會影響模型設計。GPT-style causal Transformer 的意思不是「拿語言模型硬套」，而是把動作看成有時間依賴的序列，讓模型用上下文去推進下一步。這種做法如果真的成立，會比只靠小型 MLP 更適合處理 whole-body motion 這種連續、複雜、又容易跨分布的任務。

但這篇摘要也留下不少實務問題。它沒有提 inference cost、latency，也沒有說部署複雜度。對真實機器人系統來說，這些都很關鍵。你可以在離線實驗裡追得很好，但如果推論太慢、控制迴圈太重，實際上還是很難上線。

還有哪些限制沒講清楚

最大的限制，還是來源只有摘要。雖然我們知道它用了 causal attention 和 20 億幀資料，但訓練細節、任務定義、評估協議都沒有完整公開。這些資訊對重現結果、比較自家系統，或判斷它到底贏在哪裡，都很重要。

摘要也沒有給 benchmark 數字，所以沒辦法判斷它的優勢是大幅領先，還是小幅改善。所謂「new performance frontier」聽起來很強，但在看到完整表格之前，還不能把它當成定論。

另外，摘要沒說清楚資料的組成比例，也沒說明主要提升來自架構、資料規模，還是兩者共同作用。這對實作很重要。因為如果真正的關鍵是資料統一與規模化，那麼想複製這個方向，成本可能不低。

即便如此，這篇的方向仍然很清楚：作者在押注一件事——人形機器人的動作追蹤，會像其他序列建模領域一樣，靠更大的資料、更大的 Transformer，去換取更好的泛化與更穩的控制。

總結

Humanoid-GPT 的核心訊息是：把 motion tracking 變成 GPT 式序列建模，再用 20 億幀動作資料去訓練，可能是提升零樣本全身動作追蹤的一條路。摘要沒有公開完整 benchmark 數字，但它清楚指向一個工程判斷——未來的 humanoid tracking，可能不是更小、更快的 tracker，而是更大、更通用的序列模型。

• 把 motion tracking 當序列問題，會比傳統小型回歸器更有泛化空間。
• 20 億幀級別的 retargeted corpus，是這篇方法的核心槓桿。
• 摘要沒有公開完整 benchmark 數字，實際提升幅度還要看全文。