[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"article-videomla-low-rank-kv-cache-video-diffusion-zh":3,"article-related-videomla-low-rank-kv-cache-video-diffusion-zh":30,"series-research-7c996078-6205-4133-b770-261c2c2fb7cb":75},{"id":4,"slug":5,"title":6,"content":7,"summary":8,"source":9,"source_url":10,"author":11,"image_url":12,"cover_image":12,"category":13,"language":14,"translated_content":11,"related_article_id":15,"keywords":16,"key_takeaways":22,"views":26,"created_at":27,"published_at":28,"topic_cluster_id":29},"7c996078-6205-4133-b770-261c2c2fb7cb","videomla-low-rank-kv-cache-video-diffusion-zh","VideoMLA 壓縮影片 KV 快取 92.7%","\u003Cp data-speakable=\"summary\">VideoMLA 用共享低秩潛變量重做影片擴散的 KV 快取，把每 \u003Ca href=\"\u002Ftag\u002Ftoken\">token\u003C\u002Fa> 記憶體降 92.7%。\u003C\u002Fp>\u003Cul>\u003Cli>\u003Cstrong>研究機構\u003C\u002Fstrong>：arXiv 摘要未明確標註\u003C\u002Fli>\u003Cli>\u003Cstrong>核心數據\u003C\u002Fstrong>：每 token KV 記憶體減少 92.7%\u003C\u002Fli>\u003Cli>\u003Cstrong>突破點\u003C\u002Fstrong>：共享低秩快取\u003C\u002Fli>\u003C\u002Ful>\u003Cp>長時間生成影片時，真正卡住系統的常常不是模型會不會畫，而是快取撐不撐得住。KV cache 一旦膨脹，記憶體、延遲、吞吐量都會一起受影響。這篇論文 \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2605.30351\">VideoMLA: Low-Rank Latent KV Cache for Minute-Scale Autoregressive Video Diffusion\u003C\u002Fa> 直接把矛頭指向快取本身，提出一個更省空間的影片擴散設計。\u003C\u002Fp>\u003Cp>它的核心不是單純縮短視窗，也不是只動位置編碼，而是重新定義每個 token 在快取裡要存\u003Ca href=\"\u002Fnews\u002Fwhy-caitlin-clark-injury-caution-is-right-call-zh\">什麼\u003C\u002Fa>。對做影片生成、串流推理、或長序列模型部署的人來說，這類改法很實際：只要快取變小，很多系統瓶頸就會跟著鬆動。\u003C\u002Fp>\u003Ch2>這篇在解什麼痛點\u003C\u002Fh2>\u003Cp>作者把問題放在「minute-scale」的自回歸影片擴散。這種設定下，模型不是只生成幾個片段，而是要一路 rollout 很久。時間一拉長，固定大小的 sliding-window \u003Ca href=\"\u002Ftag\u002Fkv-cache\">KV cache\u003C\u002Fa> 就會變成明顯負擔。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1780035479514-8ara.png\" alt=\"VideoMLA 壓縮影片 KV 快取 92.7%\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>摘要指出，近期相關工作多半是在既有滑動視窗架構裡做優化，例如調整 token 選擇或位置編碼，但 per-head KV 的布局仍然是 streaming memory 和 latency 的主因。換句話說，大家多半是在同一個框架裡修修補補，沒有真的改掉最吃資源的那層結構。\u003C\u002Fp>\u003Cp>這也是 VideoMLA 想切入的地方。它問的不是「\u003Ca href=\"\u002Fnews\u002Fcaitlin-clark-injury-rumors-fever-zh\">怎麼\u003C\u002Fa>把視窗再縮一點」，而是「KV cache 能不能換一種表示法，讓每個 token 需要存的狀態本來就更少」。\u003C\u002Fp>\u003Ch2>VideoMLA 的方法怎麼運作\u003C\u002Fh2>\u003Cp>這篇把 Multi-Head Latent Attention，簡稱 MLA，搬到影片擴散裡。關鍵做法有兩個：一個是共享的低秩 content latent，另一個是解耦出來的 3D-RoPE positional key。\u003C\u002Fp>\u003Cp>白話一點，就是不再替每個 head 各自保存一套完整的 key 和 value。相反地，模型把內容壓進一個共享的低秩 latent，位置資訊則交給另一個共享的 key 來處理。這樣一來，每個 token 在快取中要佔的空間就少很多。\u003C\u002Fp>\u003Cp>這個設計的重點在於「共享」和「解耦」同時存在。共享低秩 latent 負責壓縮內容，3D-RoPE positional key 負責保留時間與空間位置資訊。兩者分工後，快取不必再為每個 head 重複存大量狀態。\u003C\u002Fp>\u003Cp>論文摘要給出的最直接結果，是每個 cached layer 的 per-token KV memory 減少 92.7%。這是一個很大的數字，代表快取設計本身就能帶來明顯的系統級節省，而不只是模型權重層面的改良。\u003C\u002Fp>\u003Cp>更值得注意的是，作者不是假設影片注意力天然就是低秩，所以壓一壓就會好。他們反而先檢查 pretrained video attention 的結構，結果發現它不是低秩。\u003C\u002Fp>\u003Ch2>論文實際證明了什麼\u003C\u002Fh2>\u003Cp>摘要寫得很清楚：pretrained video attention 的 99% energy effective rank，高於任何實際\u003Ca href=\"\u002Fnews\u002Ftv-recap-colbert-meyers-cancellation-take-zh\">可用\u003C\u002Fa>的 latent 維度。這表示如果你用傳統「看頻譜就知道能不能壓縮」的直覺，會以為這樣做會造成很大的 reconstruction error。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1780035482894-eqdx.png\" alt=\"VideoMLA 壓縮影片 KV 快取 92.7%\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>但 VideoMLA 的結果不是照著這個直覺走。作者指出，即使在這種看起來不利的情況下，低秩 bottleneck 仍然能維持品質。也就是說，模型不是因為原始表示本來就很容易壓縮才成功，而是在 bottleneck 約束下學會適應。\u003C\u002Fp>\u003Cp>摘要還提到，spectral initialization 和 random initialization 一開始都幾乎佔滿了完整的 rank budget，訓練過程則是在這個預算內調整。這個觀察很重要，因為它把「低秩是否可行」從靜態的頻譜問題，轉成動態的訓練適應問題。\u003C\u002Fp>\u003Cp>換句話說，VideoMLA 證明的不是「影片注意力本來就低秩」，而是「即使原始注意力不低秩，低秩瓶頸仍可能是一個有效的工程手段」。這兩件事差很多。\u003C\u002Fp>\u003Ch2>評估結果透露了什麼\u003C\u002Fh2>\u003Cp>摘要有幾個具體結果。首先，在 VBench 上，VideoMLA 能和短距離的 streaming video diffusion baseline 打平。這代表它不是只靠壓縮換來更差的輸出。\u003C\u002Fp>\u003Cp>其次，在長距離情境下，它在評估的方法裡拿到最佳整體分數。這點很符合它的設計目標，因為這篇本來就是瞄準長時間 rollout，而不是只在短片段上做優化。\u003C\u002Fp>\u003Cp>第三個數字是單張 B200 上的 1.23x throughput。這說明快取縮小不只省記憶體，也可能直接反映在推理效率上。\u003C\u002Fp>\u003Cp>不過，摘要沒有公開完整 \u003Ca href=\"\u002Ftag\u002Fbenchmark\">benchmark\u003C\u002Fa> 細節。它沒有列出完整表格、各子項目分數、也沒有把「best overall score」背後的實際差距講清楚。資料集設定也只明確提到 VBench，因此目前能確認的是方向很強，但細節仍然有限。\u003C\u002Fp>\u003Ch2>對開發者有什麼影響\u003C\u002Fh2>\u003Cp>如果你在做影片生成或長序列推理，這篇最值得注意的不是某個單點指標，而是它把 cache design 拉到系統優化的核心位置。很多團隊會先看模型參數量、再看量化、再看 batch size，但 KV cache 往往才是長 rollout 的真瓶頸。\u003C\u002Fp>\u003Cp>VideoMLA 提供了一個很直接的訊號：快取格式本身可以重做，而且值得重做。當每 token KV 記憶體能少掉 92.7%，部署成本、可支撐的序列長度、以及即時性空間都可能跟著變。\u003C\u002Fp>\u003Cp>它也提醒開發者，不一定要把「低秩」理解成對原始表示的靜態近似。這篇的重點比較像是：低秩 bottleneck 是一種訓練與部署都能用的結構約束，重點在於模型能不能在這個約束裡學到足夠好的表示。\u003C\u002Fp>\u003Cp>但限制也很明顯。摘要沒有交代整合到現有系統的實作成本，也沒有說不同影片解析度、不同 domain、或更長 rollout 下會不會維持同樣效果。對工程團隊來說，這些都會影響是否真的能上線。\u003C\u002Fp>\u003Ch2>怎麼看這篇工作的定位\u003C\u002Fh2>\u003Cp>這篇不是在宣稱所有影片模型都應該立刻換成 MLA。它比較像是在提醒大家：當長影片生成被 KV cache 卡住時，最該動刀的地方也許不是模型主幹，而是 cache 表示法。\u003C\u002Fp>\u003Cp>從研究角度看，它把一個常被視為實作細節的東西，變成方法本身的核心貢獻。從產品角度看，它則是在回答一個很現實的問題：如果影片生成要往 minute-scale 走，系統要怎麼撐住。\u003C\u002Fp>\u003Cp>所以這篇的價值，不只是 92.7% 這個漂亮數字，而是它指出一條可行路線：用共享低秩 latent 重新組織 KV cache，讓長時間影片擴散在記憶體與速度上都更有機會落地。\u003C\u002Fp>\u003Cp>對\u003Ca href=\"\u002Ftag\u002F台灣開發者\">台灣開發者\u003C\u002Fa>來說，這種工作很值得追。因為它不是只改模型分數，而是直接碰到部署成本、推理延遲和\u003Ca href=\"\u002Ftag\u002F長上下文\">長上下文\u003C\u002Fa>生成的現實限制。這些，才是很多生成式應用最後會撞上的牆。\u003C\u002Fp>\u003Cul>\u003Cli>VideoMLA 直接改 KV cache 結構，不只調整視窗或位置編碼。\u003C\u002Fli>\u003Cli>摘要公開的最大數字是每 token KV 記憶體減少 92.7%，單卡 B200 吞吐量是 1.23x。\u003C\u002Fli>\u003Cli>它證明低秩瓶頸在影片注意力不天然低秩的前提下，仍可能有效。\u003C\u002Fli>\u003C\u002Ful>","VideoMLA 用共享低秩潛變量重做影片擴散的 KV 快取，把每 token 記憶體降 92.7%，也把長時間 rollout 的系統壓力往下壓。","arxiv.org","https:\u002F\u002Farxiv.org\u002Fabs\u002F2605.30351",null,"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1780035479514-8ara.png","research","zh","3a65bf83-79cf-4b24-a099-b102054e1465",[17,18,19,20,21],"video diffusion","KV cache","low-rank latent","3D-RoPE","autoregressive generation",[23,24,25],"把影片擴散的 KV cache 改成共享低秩 latent，可大幅降低每 token 記憶體。","摘要顯示它在 VBench 的短期表現可對齊 baseline，長距離則拿到最佳整體分數。","論文也提醒：pretrained video attention 不一定低秩，但 bottleneck 設計仍可能有效。",9,"2026-05-29T06:17:30.628215+00:00","2026-05-29T06:17:30.619+00:00","0c35a120-52fc-41fc-afa3-d404eb934158",{"tags":31,"relatedLang":34,"relatedPosts":38},[32],{"name":18,"slug":33},"kv-cache",{"id":15,"slug":35,"title":36,"language":37},"videomla-low-rank-kv-cache-video-diffusion-en","VideoMLA cuts video KV cache memory 92.7%","en",[39,45,51,57,63,69],{"id":40,"slug":41,"title":42,"cover_image":43,"image_url":43,"created_at":44,"category":13},"a1c5b218-d9ff-4e46-9c58-07d0fe5152fc","vlm-accuracy-visual-cognitive-errors-decade-zh","VLM 描述複雜場景變準了","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783926189859-c95z.png","2026-07-13T07:02:36.585294+00:00",{"id":46,"slug":47,"title":48,"cover_image":49,"image_url":49,"created_at":50,"category":13},"2ec5f4bf-f90a-4dc9-98e0-dc8189169e56","visual-pretraining-language-models-zh","視覺預訓練勝過純文字","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783924384413-4ob9.png","2026-07-13T06:32:35.520894+00:00",{"id":52,"slug":53,"title":54,"cover_image":55,"image_url":55,"created_at":56,"category":13},"8b8f7b87-7e93-415f-a52d-56613e17b278","phinn-eeg-topology-dream-state-eeg-zh","PHINN-EEG 用拓撲看夢境 EEG","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783922588253-kq48.png","2026-07-13T06:02:34.287269+00:00",{"id":58,"slug":59,"title":60,"cover_image":61,"image_url":61,"created_at":62,"category":13},"c4597538-217d-4b81-83d0-9b3cc4153861","google-android-bench-update-gemini-gap-zh","Android Bench 更新，Gemini 掉到第五","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783906366388-1v3j.png","2026-07-13T01:32:25.247653+00:00",{"id":64,"slug":65,"title":66,"cover_image":67,"image_url":67,"created_at":68,"category":13},"f25ed4f5-db61-4d8c-bc59-e80c93e27927","llm-benchmarks-not-enough-2026-zh","2026 年挑 LLM，別再把 benchmark 當答案","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783818161840-t0n4.png","2026-07-12T01:02:19.419242+00:00",{"id":70,"slug":71,"title":72,"cover_image":73,"image_url":73,"created_at":74,"category":13},"35378c9f-bc39-4cc0-b9e1-1ce4a746ba5b","rust-breaks-into-tiobe-top-10-zh","Rust 進入 TIOBE 前十的判讀筆記","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783816365723-zjl1.png","2026-07-12T00:32:23.969578+00:00",[76,81,86,91,96,101,106,111,116,121],{"id":77,"slug":78,"title":79,"created_at":80},"f18dbadb-8c59-4723-84a4-6ad22746c77a","deepmind-bets-on-continuous-learning-ai-2026-zh","DeepMind 押注 2026 連續學習 AI","2026-03-26T08:16:02.367355+00:00",{"id":82,"slug":83,"title":84,"created_at":85},"f4a106cb-02a6-4508-8f39-9720a0a93cee","ml-papers-of-the-week-github-research-desk-zh","每週 ML 論文清單，為何紅到 GitHub","2026-03-27T01:11:39.284175+00:00",{"id":87,"slug":88,"title":89,"created_at":90},"c4f807ca-4e5f-47f1-a48c-961cf3fc44dc","ai-ml-conferences-to-watch-in-2026-zh","2026 AI 研討會投稿時程整理","2026-03-27T01:51:53.874432+00:00",{"id":92,"slug":93,"title":94,"created_at":95},"cf046742-efb2-4753-aef9-caed5da5e32e","adaptive-block-scaled-data-types-zh","IF4：神經網路量化的聰明選擇","2026-03-31T06:00:36.990273+00:00",{"id":97,"slug":98,"title":99,"created_at":100},"53a0dc54-0371-4e40-8d5e-74e94a73840c","geometry-aware-similarity-metrics-for-neural-representations-zh","超越距離測量：用微分幾何重新理解神經網路","2026-03-31T06:01:01.241968+00:00",{"id":102,"slug":103,"title":104,"created_at":105},"fee7d472-a775-4b1d-bbc2-1e8bca1bbf8b","on-the-fly-repulsion-in-the-contextual-space-for-rich-divers-zh","讓AI繪圖更有創意：用排斥力提升生成多樣性","2026-03-31T06:01:25.439673+00:00",{"id":107,"slug":108,"title":109,"created_at":110},"a9901203-d69b-447b-8854-15d14eab32b4","vision-aided-beam-prediction-cnn-eca-zh","影像輔助波束預測升級 CNN","2026-04-01T10:00:25.8073+00:00",{"id":112,"slug":113,"title":114,"created_at":115},"b55e7dd4-0a24-4b3d-804d-b0309a03f498","triple-band-fss-mimo-antenna-sub-6-ghz-zh","三頻 FSS MIMO 天線瞄準 sub-6 GHz","2026-04-01T13:18:36.857305+00:00",{"id":117,"slug":118,"title":119,"created_at":120},"f68290bd-e7f3-4b30-ba22-dcd4e0130a66","openclaw-1299-repos-eight-weeks-analysis-zh","OpenClaw 1299 個 Repo 的資料解讀","2026-04-02T05:03:45.208411+00:00",{"id":122,"slug":123,"title":124,"created_at":125},"ed9f80eb-eb02-4d35-8ad4-0ddf428751dd","beam-coherence-aware-combining-mmwave-mimo-zh","毫米波 MIMO 的雙階合併法","2026-04-02T05:27:26.897188+00:00"]