[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"article-direct-opd-weak-to-strong-distillation-zh":3,"article-related-direct-opd-weak-to-strong-distillation-zh":30,"series-research-af1699b9-52dd-414b-a951-32e02a760b75":75},{"id":4,"slug":5,"title":6,"content":7,"summary":8,"source":9,"source_url":10,"author":11,"image_url":12,"cover_image":12,"category":13,"language":14,"translated_content":11,"related_article_id":15,"keywords":16,"key_takeaways":22,"views":26,"created_at":27,"published_at":28,"topic_cluster_id":29},"af1699b9-52dd-414b-a951-32e02a760b75","direct-opd-weak-to-strong-distillation-zh","Direct-OPD 讓弱模型 RL 成果可重用","\u003Cp data-speakable=\"summary\">48.3% 提升到 62.4%。Direct-OPD 把弱模型 RL 產生的政策變化抽出來，再轉給更強模型，減少重跑強模型 RL 的成本。\u003C\u002Fp>\u003Cul>\u003Cli>\u003Cstrong>研究機構\u003C\u002Fstrong>：arXiv 摘要未明確標註\u003C\u002Fli>\u003Cli>\u003Cstrong>核心數據\u003C\u002Fstrong>：AIME 2024 從 48.3% 到 62.4%\u003C\u002Fli>\u003Cli>\u003Cstrong>突破點\u003C\u002Fstrong>：抽取 RL 政策差值\u003C\u002Fli>\u003C\u002Ful>\u003Cp>這篇論文要解的，不是「\u003Ca href=\"\u002Fnews\u002Fmicrosoft-ai-cloud-partner-program-builders-zh\">怎麼\u003C\u002Fa>把一個模型訓練好」而已，而是「怎麼不要每次都重做一遍昂貴的後訓練」。對做推理模型的人來說，這個問題很現實：RL with verifiable rewards 雖然有效，但每次換到更強的目標模型，都得重新跑大量 rollout，成本很快就上來。\u003C\u002Fp>\u003Cp>作者提出的思路很直接。既然小模型可以先用 RL 學到一部分有用的推理能力，那能不能把這份學習成果再拿去幫更大的模型？他們的答案是可以，而且不是單純把弱模型最終 checkpoint 拿來模仿，而是把 RL 造成的「變化量」當成可重用的訓練訊號。\u003C\u002Fp>\u003Ch2>這篇在修什麼痛點\u003C\u002Fh2>\u003Cp>傳統 RLVR 的問題在於，它不是一次訓練完就能通吃所有模型。你如果要把同樣的後訓練流程套到另一個更強的 base model，上面那些 rollout 幾乎還是得重跑。對大模型來說，這一步特別貴，因為生成\u003Ca href=\"\u002Fnews\u002Fdata-link-layer-osi-layer-2-en-zh\">資料\u003C\u002Fa>本身就是訓練瓶頸。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783405977424-4py2.png\" alt=\"Direct-OPD 讓弱模型 RL 成果可重用\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>很多人第一時間會想到的捷徑，是先拿小模型做 RL，再把結果蒸餾給大模型。聽起來合理，但論文指出，直接蒸餾弱模型的 post-RL policy 不夠乾淨。因為那個結果裡混了兩種東西：一種是 RL 真正帶來的改善，另一種是小模型本身的能力上限。你如果整包學下去，也可能把小模型的限制\u003Ca href=\"\u002Fnews\u002Frust-adoption-moving-into-production-zh\">一起\u003C\u002Fa>帶過去。\u003C\u002Fp>\u003Cp>這個區分很重要。開發者真正想要的，不只是「一個被 RL 調過的小模型」，而是「RL 帶來的改善方向」能不能跨尺度搬到更強的模型上。這篇論文就是在處理這個轉移問題。\u003C\u002Fp>\u003Ch2>Direct-OPD 到底怎麼做\u003C\u002Fh2>\u003Cp>方法名叫 Direct On-Policy Distillation，簡稱 Direct-OPD。它的核心不是複製弱模型訓練後的最終輸出，而是比較弱模型 RL 前後的兩個 checkpoint。兩者之間的差距，被當成值得傳遞的訊號。\u003C\u002Fp>\u003Cp>更白話一點，作者把 post-RL teacher 和它自己的 pre-RL reference 做比較，然後用兩者的 log-ratio 當作稠密的 implicit reward。這個訊號不是在告訴學生「答案長什麼樣」，而是在告訴學生「RL 之後，弱模型更傾向做哪些動作、哪些動作變得不那麼像」。\u003C\u002Fp>\u003Cp>再來是 on-policy 這個關鍵點。學生不是在靜態資料上照抄老師，而是在自己訓練時會走到的狀態上，接收這個由弱模型 RL 變化萃取出來的訊號。這讓蒸餾不是單純的離線模仿，而比較像把 RL 的方向性改變，重新灌進更強的模型。\u003C\u002Fp>\u003Cp>論文也強調，這條路不需要在目標模型上訓練顯式 reward model，也不用對目標模型做那種稀疏獎勵的完整 RL 流程。對工程上來說，這很重要，因為它避開了最花錢的那一段。\u003C\u002Fp>\u003Cp>所以 Direct-OPD 的重點不是「弱模型比較強」，而是「弱模型做 RL 後產生的差值，可以成為強模型的訓練資料」。這個角度和一般 checkpoint distillation 很不一樣。\u003C\u002Fp>\u003Ch2>論文實際證明了什麼\u003C\u002Fh2>\u003Cp>摘要裡最明確的數字，是 AIME 2024 的結果。Direct-OPD 讓 Qwen3-1.7B 從 48.3% 提升到 62.4%，而且是在 8 張 A100 \u003Ca href=\"\u002Ftag\u002Fgpu\">GPU\u003C\u002Fa>、4 小時內完成。這是目前公開摘要裡最具體的成效指標，也直接說明它不是只有概念漂亮，確實有可量化的提升。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783405976510-gbyx.png\" alt=\"Direct-OPD 讓弱模型 RL 成果可重用\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>作者還表示，Direct-OPD 可以穩定利用較弱的 teacher 來改善更強的 target model，並且優於 step-matched direct RL。摘要也提到，它支援多個 policy shift 的 sequential composition。換句話說，不是只能轉移一次改善，而是有機會把多段學到的變化串起來。\u003C\u002Fp>\u003Cp>不過，這份公開摘要沒有放出完整 \u003Ca href=\"\u002Ftag\u002Fbenchmark\">benchmark\u003C\u002Fa> 細節，也沒有列出廣泛的模型清單或多任務對照表。所以我們目前只能確定這個方法在作者點名的設定下有效，還不能從這份 raw 資料推論它在所有推理資料集或所有模型家族上都同樣穩。\u003C\u002Fp>\u003Ch2>對開發者的實際意義\u003C\u002Fh2>\u003Cp>如果你在做 reasoning system，真正燒錢的常常不是第一次把模型訓練起來，而是每次換 base model、換尺寸、換部署目標時，都要重做後訓練。這篇論文提供了一個很實用的方向：把 RL 工作成果重用，而不是每次都從頭跑。\u003C\u002Fp>\u003Cp>這對常見的工作流特別有吸引力。很多團隊會先在比較小、比較便宜的模型上試 RL，等到知道某種推理改法有效，再想辦法把這個成果搬到更大的模型。Direct-OPD 的想法就是把這個搬運過程做得更像「轉移 RL 產生的改變」，而不是「模仿某個弱模型最後的樣子」。\u003C\u002Fp>\u003Cp>如果這條路在更多場景下成立，後訓練流程可能會變得更像：先在 rollout 便宜的地方做 RL，再用 on-policy distillation 把政策變化傳給更強模型。對算力預算緊、但又想持續升級推理能力的團隊，這會是很有吸引力的做法。\u003C\u002Fp>\u003Ch2>還有哪些限制要先看清楚\u003C\u002Fh2>\u003Cp>這篇摘要雖然方向清楚，但也留下不少問題。首先，我們不知道它在不同任務上的泛化程度，也不知道它對 teacher 的選擇有多敏感。弱模型的 RL 如果本身不穩，或者學到的方向不夠好，那可轉移的訊號可能就很有限。\u003C\u002Fp>\u003Cp>第二個限制是方法本身的前提。Direct-OPD 依賴「弱模型先做出有用的 RL 變化」這件事成立。如果小模型根本學不到對的 policy shift，那就沒有東西可抽取、可傳遞。也就是說，它不是憑空創造能力，而是把已有的改善重新分配到更強模型上。\u003C\u002Fp>\u003Cp>第三個限制來自公開資訊本身。摘要沒有提供完整 benchmark 表，也沒有公布跨模型、跨任務的大範圍數字，所以目前還不能判斷它的提升是普遍存在，還是集中在作者展示的特定設定。對實務採用來說，這種資訊缺口很重要。\u003C\u002Fp>\u003Cp>但即便如此，這篇的核心觀點還是很有價值：RL 不一定只能產生一個更好的 checkpoint，它也可以產生可重用的 supervision。這個想法如果被更多後續工作證實，會影響大家怎麼設計推理模型的 post-training pipeline，尤其是在模型越來越大、算力越來越貴的情況下。\u003C\u002Fp>\u003Cul>\u003Cli>RLVR 對強模型很貴，因為每次都要重跑 rollout。\u003C\u002Fli>\u003Cli>Direct-OPD 抽的是 RL 前後的政策差值，不是直接抄弱模型最終狀態。\u003C\u002Fli>\u003Cli>公開摘要唯一明確數字是 Qwen3-1.7B 在 AIME 2024 從 48.3% 提升到 62.4%。\u003C\u002Fli>\u003C\u002Ful>","48.3% 提升到 62.4%。Direct-OPD 把弱模型 RL 產生的政策變化抽出來，再轉給更強模型，減少重跑強模型 RL 的成本。","arxiv.org","https:\u002F\u002Farxiv.org\u002Fabs\u002F2607.05394",null,"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783405977424-4py2.png","research","zh","241fc8a1-6245-42f1-9be1-83f031963ec8",[17,18,19,20,21],"Direct-OPD","RLVR","on-policy distillation","policy shift","AIME 2024",[23,24,25],"把弱模型 RL 的改善量抽出來，可轉給更強模型。","方法避開了在目標模型上重跑完整 RL 的高成本。","公開摘要只提供單一 benchmark 數字，泛化範圍仍待更多資料驗證。",3,"2026-07-07T06:32:31.370605+00:00","2026-07-07T06:32:31.331+00:00","09cb40d0-8c27-4d70-b18e-7600fd44a0b2",{"tags":31,"relatedLang":34,"relatedPosts":38},[32],{"name":18,"slug":33},"rlvr",{"id":15,"slug":35,"title":36,"language":37},"direct-opd-weak-to-strong-distillation-en","Direct-OPD reuses weak-model RL gains for stronger models","en",[39,45,51,57,63,69],{"id":40,"slug":41,"title":42,"cover_image":43,"image_url":43,"created_at":44,"category":13},"a1c5b218-d9ff-4e46-9c58-07d0fe5152fc","vlm-accuracy-visual-cognitive-errors-decade-zh","VLM 描述複雜場景變準了","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783926189859-c95z.png","2026-07-13T07:02:36.585294+00:00",{"id":46,"slug":47,"title":48,"cover_image":49,"image_url":49,"created_at":50,"category":13},"2ec5f4bf-f90a-4dc9-98e0-dc8189169e56","visual-pretraining-language-models-zh","視覺預訓練勝過純文字","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783924384413-4ob9.png","2026-07-13T06:32:35.520894+00:00",{"id":52,"slug":53,"title":54,"cover_image":55,"image_url":55,"created_at":56,"category":13},"8b8f7b87-7e93-415f-a52d-56613e17b278","phinn-eeg-topology-dream-state-eeg-zh","PHINN-EEG 用拓撲看夢境 EEG","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783922588253-kq48.png","2026-07-13T06:02:34.287269+00:00",{"id":58,"slug":59,"title":60,"cover_image":61,"image_url":61,"created_at":62,"category":13},"c4597538-217d-4b81-83d0-9b3cc4153861","google-android-bench-update-gemini-gap-zh","Android Bench 更新，Gemini 掉到第五","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783906366388-1v3j.png","2026-07-13T01:32:25.247653+00:00",{"id":64,"slug":65,"title":66,"cover_image":67,"image_url":67,"created_at":68,"category":13},"f25ed4f5-db61-4d8c-bc59-e80c93e27927","llm-benchmarks-not-enough-2026-zh","2026 年挑 LLM，別再把 benchmark 當答案","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783818161840-t0n4.png","2026-07-12T01:02:19.419242+00:00",{"id":70,"slug":71,"title":72,"cover_image":73,"image_url":73,"created_at":74,"category":13},"35378c9f-bc39-4cc0-b9e1-1ce4a746ba5b","rust-breaks-into-tiobe-top-10-zh","Rust 進入 TIOBE 前十的判讀筆記","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783816365723-zjl1.png","2026-07-12T00:32:23.969578+00:00",[76,81,86,91,96,101,106,111,116,121],{"id":77,"slug":78,"title":79,"created_at":80},"f18dbadb-8c59-4723-84a4-6ad22746c77a","deepmind-bets-on-continuous-learning-ai-2026-zh","DeepMind 押注 2026 連續學習 AI","2026-03-26T08:16:02.367355+00:00",{"id":82,"slug":83,"title":84,"created_at":85},"f4a106cb-02a6-4508-8f39-9720a0a93cee","ml-papers-of-the-week-github-research-desk-zh","每週 ML 論文清單，為何紅到 GitHub","2026-03-27T01:11:39.284175+00:00",{"id":87,"slug":88,"title":89,"created_at":90},"c4f807ca-4e5f-47f1-a48c-961cf3fc44dc","ai-ml-conferences-to-watch-in-2026-zh","2026 AI 研討會投稿時程整理","2026-03-27T01:51:53.874432+00:00",{"id":92,"slug":93,"title":94,"created_at":95},"cf046742-efb2-4753-aef9-caed5da5e32e","adaptive-block-scaled-data-types-zh","IF4：神經網路量化的聰明選擇","2026-03-31T06:00:36.990273+00:00",{"id":97,"slug":98,"title":99,"created_at":100},"53a0dc54-0371-4e40-8d5e-74e94a73840c","geometry-aware-similarity-metrics-for-neural-representations-zh","超越距離測量：用微分幾何重新理解神經網路","2026-03-31T06:01:01.241968+00:00",{"id":102,"slug":103,"title":104,"created_at":105},"fee7d472-a775-4b1d-bbc2-1e8bca1bbf8b","on-the-fly-repulsion-in-the-contextual-space-for-rich-divers-zh","讓AI繪圖更有創意：用排斥力提升生成多樣性","2026-03-31T06:01:25.439673+00:00",{"id":107,"slug":108,"title":109,"created_at":110},"a9901203-d69b-447b-8854-15d14eab32b4","vision-aided-beam-prediction-cnn-eca-zh","影像輔助波束預測升級 CNN","2026-04-01T10:00:25.8073+00:00",{"id":112,"slug":113,"title":114,"created_at":115},"b55e7dd4-0a24-4b3d-804d-b0309a03f498","triple-band-fss-mimo-antenna-sub-6-ghz-zh","三頻 FSS MIMO 天線瞄準 sub-6 GHz","2026-04-01T13:18:36.857305+00:00",{"id":117,"slug":118,"title":119,"created_at":120},"f68290bd-e7f3-4b30-ba22-dcd4e0130a66","openclaw-1299-repos-eight-weeks-analysis-zh","OpenClaw 1299 個 Repo 的資料解讀","2026-04-02T05:03:45.208411+00:00",{"id":122,"slug":123,"title":124,"created_at":125},"ed9f80eb-eb02-4d35-8ad4-0ddf428751dd","beam-coherence-aware-combining-mmwave-mimo-zh","毫米波 MIMO 的雙階合併法","2026-04-02T05:27:26.897188+00:00"]