VideoMLA 壓縮影片 KV 快取 92.7%

VideoMLA 用共享低秩潛變量重做影片擴散的 KV 快取，把每 token 記憶體降 92.7%。

• 研究機構：arXiv 摘要未明確標註
• 核心數據：每 token KV 記憶體減少 92.7%
• 突破點：共享低秩快取

長時間生成影片時，真正卡住系統的常常不是模型會不會畫，而是快取撐不撐得住。KV cache 一旦膨脹，記憶體、延遲、吞吐量都會一起受影響。這篇論文 VideoMLA: Low-Rank Latent KV Cache for Minute-Scale Autoregressive Video Diffusion 直接把矛頭指向快取本身，提出一個更省空間的影片擴散設計。

它的核心不是單純縮短視窗，也不是只動位置編碼，而是重新定義每個 token 在快取裡要存什麼。對做影片生成、串流推理、或長序列模型部署的人來說，這類改法很實際：只要快取變小，很多系統瓶頸就會跟著鬆動。

這篇在解什麼痛點

作者把問題放在「minute-scale」的自回歸影片擴散。這種設定下，模型不是只生成幾個片段，而是要一路 rollout 很久。時間一拉長，固定大小的 sliding-window KV cache 就會變成明顯負擔。

摘要指出，近期相關工作多半是在既有滑動視窗架構裡做優化，例如調整 token 選擇或位置編碼，但 per-head KV 的布局仍然是 streaming memory 和 latency 的主因。換句話說，大家多半是在同一個框架裡修修補補，沒有真的改掉最吃資源的那層結構。

這也是 VideoMLA 想切入的地方。它問的不是「怎麼把視窗再縮一點」，而是「KV cache 能不能換一種表示法，讓每個 token 需要存的狀態本來就更少」。

VideoMLA 的方法怎麼運作

這篇把 Multi-Head Latent Attention，簡稱 MLA，搬到影片擴散裡。關鍵做法有兩個：一個是共享的低秩 content latent，另一個是解耦出來的 3D-RoPE positional key。

白話一點，就是不再替每個 head 各自保存一套完整的 key 和 value。相反地，模型把內容壓進一個共享的低秩 latent，位置資訊則交給另一個共享的 key 來處理。這樣一來，每個 token 在快取中要佔的空間就少很多。

這個設計的重點在於「共享」和「解耦」同時存在。共享低秩 latent 負責壓縮內容，3D-RoPE positional key 負責保留時間與空間位置資訊。兩者分工後，快取不必再為每個 head 重複存大量狀態。

論文摘要給出的最直接結果，是每個 cached layer 的 per-token KV memory 減少 92.7%。這是一個很大的數字，代表快取設計本身就能帶來明顯的系統級節省，而不只是模型權重層面的改良。

更值得注意的是，作者不是假設影片注意力天然就是低秩，所以壓一壓就會好。他們反而先檢查 pretrained video attention 的結構，結果發現它不是低秩。

論文實際證明了什麼

摘要寫得很清楚：pretrained video attention 的 99% energy effective rank，高於任何實際可用的 latent 維度。這表示如果你用傳統「看頻譜就知道能不能壓縮」的直覺，會以為這樣做會造成很大的 reconstruction error。

但 VideoMLA 的結果不是照著這個直覺走。作者指出，即使在這種看起來不利的情況下，低秩 bottleneck 仍然能維持品質。也就是說，模型不是因為原始表示本來就很容易壓縮才成功，而是在 bottleneck 約束下學會適應。

摘要還提到，spectral initialization 和 random initialization 一開始都幾乎佔滿了完整的 rank budget，訓練過程則是在這個預算內調整。這個觀察很重要，因為它把「低秩是否可行」從靜態的頻譜問題，轉成動態的訓練適應問題。

換句話說，VideoMLA 證明的不是「影片注意力本來就低秩」，而是「即使原始注意力不低秩，低秩瓶頸仍可能是一個有效的工程手段」。這兩件事差很多。

評估結果透露了什麼

摘要有幾個具體結果。首先，在 VBench 上，VideoMLA 能和短距離的 streaming video diffusion baseline 打平。這代表它不是只靠壓縮換來更差的輸出。

其次，在長距離情境下，它在評估的方法裡拿到最佳整體分數。這點很符合它的設計目標，因為這篇本來就是瞄準長時間 rollout，而不是只在短片段上做優化。

第三個數字是單張 B200 上的 1.23x throughput。這說明快取縮小不只省記憶體，也可能直接反映在推理效率上。

不過，摘要沒有公開完整 benchmark 細節。它沒有列出完整表格、各子項目分數、也沒有把「best overall score」背後的實際差距講清楚。資料集設定也只明確提到 VBench，因此目前能確認的是方向很強，但細節仍然有限。

對開發者有什麼影響

如果你在做影片生成或長序列推理，這篇最值得注意的不是某個單點指標，而是它把 cache design 拉到系統優化的核心位置。很多團隊會先看模型參數量、再看量化、再看 batch size，但 KV cache 往往才是長 rollout 的真瓶頸。

VideoMLA 提供了一個很直接的訊號：快取格式本身可以重做，而且值得重做。當每 token KV 記憶體能少掉 92.7%，部署成本、可支撐的序列長度、以及即時性空間都可能跟著變。

它也提醒開發者，不一定要把「低秩」理解成對原始表示的靜態近似。這篇的重點比較像是：低秩 bottleneck 是一種訓練與部署都能用的結構約束，重點在於模型能不能在這個約束裡學到足夠好的表示。

但限制也很明顯。摘要沒有交代整合到現有系統的實作成本，也沒有說不同影片解析度、不同 domain、或更長 rollout 下會不會維持同樣效果。對工程團隊來說，這些都會影響是否真的能上線。

怎麼看這篇工作的定位

這篇不是在宣稱所有影片模型都應該立刻換成 MLA。它比較像是在提醒大家：當長影片生成被 KV cache 卡住時，最該動刀的地方也許不是模型主幹，而是 cache 表示法。

從研究角度看，它把一個常被視為實作細節的東西，變成方法本身的核心貢獻。從產品角度看，它則是在回答一個很現實的問題：如果影片生成要往 minute-scale 走，系統要怎麼撐住。

所以這篇的價值，不只是 92.7% 這個漂亮數字，而是它指出一條可行路線：用共享低秩 latent 重新組織 KV cache，讓長時間影片擴散在記憶體與速度上都更有機會落地。

對台灣開發者來說，這種工作很值得追。因為它不是只改模型分數，而是直接碰到部署成本、推理延遲和長上下文生成的現實限制。這些，才是很多生成式應用最後會撞上的牆。

• VideoMLA 直接改 KV cache 結構，不只調整視窗或位置編碼。
• 摘要公開的最大數字是每 token KV 記憶體減少 92.7%，單卡 B200 吞吐量是 1.23x。
• 它證明低秩瓶頸在影片注意力不天然低秩的前提下，仍可能有效。