[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"article-tsallis-loss-reasoning-model-training-zh":3,"tags-tsallis-loss-reasoning-model-training-zh":31,"related-lang-tsallis-loss-reasoning-model-training-zh":41,"related-posts-tsallis-loss-reasoning-model-training-zh":45,"series-research-8e6e5e5b-c51f-495e-a596-203fb64c71eb":82},{"id":4,"title":5,"content":6,"summary":7,"source":8,"source_url":9,"author":10,"image_url":11,"keywords":12,"language":19,"translated_content":10,"views":20,"is_premium":21,"created_at":22,"updated_at":22,"cover_image":11,"published_at":23,"rewrite_status":24,"rewrite_error":10,"rewritten_from_id":25,"slug":26,"category":27,"related_article_id":28,"status":29,"google_indexed_at":30,"x_posted_at":10,"tweet_text":10,"title_rewritten_at":10,"title_original":10,"key_takeaways":10,"topic_cluster_id":10,"embedding":10,"is_canonical_seed":21},"8e6e5e5b-c51f-495e-a596-203fb64c71eb","Tsallis loss 讓推理模型更快脫困","\u003Cp>訓練推理模型時，最麻煩的不是模型不會學，而是它一開始幾乎學不到。當輸出層級的監督訊號太弱、正確答案機率又很低，訓練很容易卡在冷啟動。這篇論文 \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2604.25907\">How Fast Should a Model Commit to Supervision? Training Reasoning Models on the Tsallis Loss Continuum\u003C\u002Fa>，就是在處理這個痛點：模型在還很不會做題時，到底應該多快「認真」接受監督？\u003C\u002Fp>\u003Cp>作者提出的不是單一新演算法，而是一條損失函數連續體。核心是 Tsallis q-logarithm loss family，讓兩個極端可以被放在同一個框架裡看：q=0 對應 reinf\u003Ca href=\"\u002Fnews\u002Fdv-world-tests-chart-agents-real-workflows-zh\">or\u003C\u002Fa>cement learning from verifiable rewards（RLVR），q=1 對應 latent trajec\u003Ca href=\"\u002Fnews\u002Frecursive-multi-agent-systems-token-efficiency-zh\">to\u003C\u002Fa>ries 的 log-marginal-likelihood。重點不在於它們的方向不同，而在於它們對更新訊號的放大方式不同。這個差異，剛好就是冷啟動會不會卡死的關鍵。\u003C\u002Fp>\u003Ch2>這篇論文想解的痛點\u003C\u002Fh2>\u003Cp>論文一開始就把問題講得很工程：如果模型在訓練初期幾乎不會答對，只有看最終輸出對不對的監督方式，常常會太慢，甚至完全推不動。對做推理模型後訓練的人來說，這不是理論上的瑕疵，而是實際會遇到的訓練停滯。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1777443006073-083j.png\" alt=\"Tsallis loss 讓推理模型更快脫困\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>作者把這種情況稱為 cold-start problem。意思很直白：模型一開始成功率太低，RLVR 這類偏向只獎勵可驗證正解的方法，拿不到足夠強的訊號去把模型拉出谷底。訓練不是沒在跑，而是跑得太慢，慢到像卡住。\u003C\u002Fp>\u003Cp>這篇論文的出發點很實用。它不是問「哪個方法比較漂亮」，而是問「監督到底要多早、多久、多強地介入」。這個問題對推理模型很重要，因為這類模型常常是在 pretraining 之後再做 post-training，訓練訊號又常常只看最終答案，早期如果完全沒中，整個流程就會很脆弱。\u003C\u002Fp>\u003Ch2>Tsallis loss 連續體怎麼運作\u003C\u002Fh2>\u003Cp>作者提出的 J\u003Csub>Q\u003C\u002Fsub> 是一個 Tsallis q-logarithm 損失家族。它最關鍵的設計，是讓所有成員都保有相同的 per-example gradient direction。也就是說，梯度往哪裡走沒有變，變的是每個樣本被放大的程度。\u003C\u002Fp>\u003Cp>這個放大不是單純調學習率，而是由一個 scalar amplification term，P\u003Csub>θ\u003Csup>-q\u003C\u002Fsup>\u003C\u002Fsub>，去重新加權每個訓練實例。白話一點說，模型不是換了一條新方向，而是改變了每個例子對訓練的「話語權」。對冷啟動來說，這件事很重要，因為早期成功率低時，訊號本來就少，怎麼放大訊號就直接影響能不能脫困。\u003C\u002Fp>\u003Cp>在這條連續體上，q=0 是 exploitation pole，對應 RLVR。q=1 則是 density-estimation pole，對應對 latent trajectories 做 log-marginal-likelihood。作者的觀點是，這兩端不是互斥的兩派，而是同一個框架下對「要多快做出承諾」的不同選擇。\u003C\u002Fp>\u003Cp>中間的 q 值則代表折衷。q 越偏向 1，越像密度估計，逃離冷啟動的速度越快；但同時也可能更容易把噪聲一起放大。q 越偏向 0，則越接近 RLVR 的行為，訓練更偏向利用已知可驗證訊號，但在初期可能更容易卡住。\u003C\u002Fp>\u003Ch2>為什麼實作上不只是一個 loss\u003C\u002Fh2>\u003Cp>論文也處理了實作上的難題。P\u003Csub>θ\u003C\u002Fsub> 這個量是 intractable 的，不能直接算。所以作者推導出兩個 Monte Carlo estimator，而且是從兩種梯度分解方式來的。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1777442995802-o26n.png\" alt=\"Tsallis loss 讓推理模型更快脫困\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cul>\u003Cli>\u003Cstrong>Gradient-Amplified RL（GARL）\u003C\u002Fstrong>：從 prior 取樣，然後放大 RL 梯度。\u003C\u002Fli>\u003Cli>\u003Cstrong>Posterior-Attenuated Fine-Tuning（PAFT）\u003C\u002Fstrong>：用 importance resampling 從 posterior 取樣，再跑標準 supervised fine-tuning。\u003C\u002Fli>\u003C\u002Ful>\u003Cp>這兩個版本的共同點是，都有 O(q \u002F (M P\u003Csub>θ\u003C\u002Fsub>\u003Csup>q+1\u003C\u002Fsup>)) 的 bias。差別則在於作者指出 GARL 的 variance 較低，而 PAFT 產生的梯度語意更一致、更像一般人熟悉的 fine-tuning。換句話說，一個偏效率，一個偏穩定。\u003C\u002Fp>\u003Cp>這也反映了整篇論文的核心態度：不是追求一個萬用答案，而是承認不同訓練階段、不同資料集，可能需要不同的實作型態。對開發者來說，這比單純說「某法更好」更有參考價值。\u003C\u002Fp>\u003Ch2>論文實際證明了什麼\u003C\u002Fh2>\u003Cp>理論上，作者給出的主張很明確。根據 gradient flow 分析，exploitation pole 要逃離 cold start，需要 Ω(1 \u002F p\u003Csub>0\u003C\u002Fsub>) 的時間；density-estimation pole 則是 Θ(log(1 \u002F p\u003Csub>0\u003C\u002Fsub>))。這代表如果初始成功率 p\u003Csub>0\u003C\u002Fsub> 很小，兩者的訓練時間尺度差很多。\u003C\u002Fp>\u003Cp>白話說，模型一開始越不會做，越接近 RLVR 的方法就越可能慢到像沒動；越接近 density estimation 的方法，越有機會更快把模型拉出低谷。這正是 Tsallis loss 連續體存在的理由：它不是硬切到某一端，而是提供一個可調整的中間地帶。\u003C\u002Fp>\u003Cp>實驗部分，作者在 FinQA、HotPotQA、MuSiQue 上做了測試。摘要公開的結果有限，但已經能看出幾個重點。首先，GARL 在 q=0.75 時，能明顯緩解 cold-start stalling，甚至在 GRPO 完全失敗的情況下仍能逃出冷啟動。\u003C\u002Fp>\u003Cp>其次，在 warm-start 的情境裡，GARL 在低 q 時對 FinQA 表現最好，且訓練穩定。這說明當模型本來就有一點基礎時，偏 exploitation 的設定不一定吃虧，反而可能更有效率。\u003C\u002Fp>\u003Cp>但結果不是全線勝利。HotPotQA 和 MuSiQue 上，GARL 會在訓練中變得不穩定。這時作者指出，PAFT 在 q=0.75 時能提供穩定梯度。特別是在 HotPotQA 上，摘要提到它拿到 47.9 maj@16，且比 GRPO 高出 +14.4。這是來源中唯一明確公開的數字；摘要沒有提供完整 benchmark 表，所以不能把它解讀成完整評測結論。\u003C\u002Fp>\u003Cp>這樣的結果其實很有意思。它不是在證明某個 loss 天生全能，而是在證明同一個 loss family 可以透過不同 estimator，在不同情境下展現不同的優勢。GARL 比較像衝刺型，PAFT 比較像穩定型。\u003C\u002Fp>\u003Ch2>對開發者有什麼影響\u003C\u002Fh2>\u003Cp>如果你在做推理模型的後訓練，這篇論文最實際的提醒是：監督訊號要不要「更快進場」，不是抽象問題，而是會直接影響訓練能不能離開死區。尤其當你的訓練只看最終輸出、而且一開始正確率很低時，這個問題會被放大。\u003C\u002Fp>\u003Cp>這也提供了一個更好用的思考方式。與其只問「我要用 RL 還是 SFT」，不如問「我要把監督放大到\u003Ca href=\"\u002Fnews\u002Fwhy-gpt-55-is-not-the-victory-lap-openai-wants-you-to-believ-zh\">什麼\u003C\u002Fa>程度」。Tsallis loss 連續體把這個問題變成可調參數，而不是非黑即白的選擇。\u003C\u002Fp>\u003Cp>對實作來說，q 可以被看成一個真正的 tuning knob。偏低的 q 可能比較穩，也更像 RLVR；偏高的 q 可能更快脫困，但也更容易把噪聲、甚至不穩定一起放大。作者的結果暗示，中間值有機會是甜蜜點，但最佳值會跟你的資料、任務、以及主要失敗模式有關。\u003C\u002Fp>\u003Cp>不過，這篇摘要也有明顯限制。它沒有公開完整 benchmark 細節，也沒有給出完整的 ablation、實作設定，或更細的 estimator 比較。除了 bias 公式、variance\u002Fstability 的定性差異，以及少數公開數字外，能確認的資訊有限。也就是說，它提供的是一個很有力的理論與方法框架，但還不是一份可以直接照抄的完整 recipe。\u003C\u002Fp>\u003Cp>即便如此，這篇論文的價值仍然很高。它把一個常見但模糊的訓練痛點，轉成一個可分析、可調整的優化問題：到底要多快讓模型對監督「下決心」。對做 reasoning system 的團隊來說，這種框架比單純說 RL 不穩、SFT 太硬，更接近可以落地的工程語言。\u003C\u002Fp>\u003Cp>如果你的模型卡在冷啟動，這篇工作的訊息很清楚：問題未必是監督太少，而可能是監督「放大得不對」。Tsallis loss 提供了一條中間路線，讓你可以在速度、噪聲、穩定性之間做更細的取捨。\u003C\u002Fp>","這篇論文用 Tsallis q-logarithm 搭出一條損失函數光譜，想解決推理模型在冷啟動時卡住的問題。它把 RLVR 和 latent trajectory 的 log-marginal-likelihood 串成可調參的連續體。","arxiv.org","https:\u002F\u002Farxiv.org\u002Fabs\u002F2604.25907",null,"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1777443006073-083j.png",[13,14,15,16,17,18],"Tsallis loss","reasoning models","RLVR","cold-start","GARL","PAFT","zh",2,false,"2026-04-29T06:09:37.277494+00:00","2026-04-29T06:09:37.068+00:00","done","22b85c69-6e78-4b98-ae93-a299de9006f5","tsallis-loss-reasoning-model-training-zh","research","dbcae3bd-5f14-4baf-9604-0011f7382732","published","2026-04-29T09:00:09.198+00:00",[32,34,36,38,40],{"name":15,"slug":33},"rlvr",{"name":17,"slug":35},"garl",{"name":13,"slug":37},"tsallis-loss",{"name":14,"slug":39},"reasoning-models",{"name":16,"slug":16},{"id":28,"slug":42,"title":43,"language":44},"tsallis-loss-reasoning-model-training-en","Tsallis loss for faster reasoning-model training","en",[46,52,58,64,70,76],{"id":47,"slug":48,"title":49,"cover_image":50,"image_url":50,"created_at":51,"category":27},"667b72b6-e821-4d68-80a1-e03340bc85f1","turboquant-seo-shift-small-sites-zh","TurboQuant 與小站 SEO 變化","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778840440690-kcw9.png","2026-05-15T10:20:27.319472+00:00",{"id":53,"slug":54,"title":55,"cover_image":56,"image_url":56,"created_at":57,"category":27},"381fb6c6-6da7-4444-831f-8c5eed8d685c","turboquant-vllm-comparison-fp8-kv-cache-zh","TurboQuant 與 FP8 實測結果","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778839867551-4v9g.png","2026-05-15T10:10:36.034569+00:00",{"id":59,"slug":60,"title":61,"cover_image":62,"image_url":62,"created_at":63,"category":27},"c15f45ee-a548-4dbf-8152-91de159c1a11","llmbda-calculus-agent-safety-rules-zh","LLMbda 演算替 AI 代理人立安全規則","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778825503412-mlbf.png","2026-05-15T06:10:34.832664+00:00",{"id":65,"slug":66,"title":67,"cover_image":68,"image_url":68,"created_at":69,"category":27},"0c02225c-d6ff-44f8-bc92-884c8921c4a3","low-complexity-beamspace-denoiser-mmwave-mimo-zh","更簡單的毫米波波束域去噪器","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778814650361-xtc2.png","2026-05-15T03:10:30.06639+00:00",{"id":71,"slug":72,"title":73,"cover_image":74,"image_url":74,"created_at":75,"category":27},"9d27f967-62cc-433f-8cdb-9300937ade13","ai-benchmark-wins-cyber-scare-defenders-zh","為什麼 AI 基準賽在資安領域的勝利，應該讓防守方警醒","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778807450006-nofx.png","2026-05-15T01:10:29.379041+00:00",{"id":77,"slug":78,"title":79,"cover_image":80,"image_url":80,"created_at":81,"category":27},"bc402dc6-5da6-46fc-9d66-d09cb215f72b","why-linux-security-needs-patch-wave-mindset-zh","為什麼 Linux 安全需要「補丁浪潮」思維","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778741449813-s2wn.png","2026-05-14T06:50:24.052583+00:00",[83,88,93,98,103,108,113,118,123,128],{"id":84,"slug":85,"title":86,"created_at":87},"f18dbadb-8c59-4723-84a4-6ad22746c77a","deepmind-bets-on-continuous-learning-ai-2026-zh","DeepMind 押注 2026 連續學習 AI","2026-03-26T08:16:02.367355+00:00",{"id":89,"slug":90,"title":91,"created_at":92},"f4a106cb-02a6-4508-8f39-9720a0a93cee","ml-papers-of-the-week-github-research-desk-zh","每週 ML 論文清單，為何紅到 GitHub","2026-03-27T01:11:39.284175+00:00",{"id":94,"slug":95,"title":96,"created_at":97},"c4f807ca-4e5f-47f1-a48c-961cf3fc44dc","ai-ml-conferences-to-watch-in-2026-zh","2026 AI 研討會投稿時程整理","2026-03-27T01:51:53.874432+00:00",{"id":99,"slug":100,"title":101,"created_at":102},"9f50561b-aebd-46ba-94a8-363198aa7091","openclaw-agents-manipulated-self-sabotage-zh","OpenClaw Agent 會自己搞砸自己","2026-03-28T03:03:18.786425+00:00",{"id":104,"slug":105,"title":106,"created_at":107},"11f22e92-7066-4978-a544-31f5f2156ec6","vega-learning-to-drive-with-natural-language-instructions-zh","Vega：使用自然語言指示進行自駕車控制","2026-03-28T14:54:04.847912+00:00",{"id":109,"slug":110,"title":111,"created_at":112},"a4c7cfec-8d0e-4fec-93cf-1b9699a530b8","drive-my-way-en-zh","Drive My Way：個性化自駕車風格的實現","2026-03-28T14:54:26.207495+00:00",{"id":114,"slug":115,"title":116,"created_at":117},"dec02f89-fd39-41ba-8e4d-11ede93a536d","training-knowledge-bases-with-writeback-rag-zh","用 WriteBack-RAG 強化知識庫提升檢索效能","2026-03-28T14:54:45.775606+00:00",{"id":119,"slug":120,"title":121,"created_at":122},"3886be5c-a137-40cc-b9e2-0bf18430c002","packforcing-efficient-long-video-generation-method-zh","PackForcing：短影片訓練也能生成長影片","2026-03-28T14:55:02.688141+00:00",{"id":124,"slug":125,"title":126,"created_at":127},"72b90667-d930-4cc9-8ced-aaa0f8968d44","pixelsmile-toward-fine-grained-facial-expression-editing-zh","PixelSmile：提升精細臉部表情編輯的新方法","2026-03-28T14:55:20.678181+00:00",{"id":129,"slug":130,"title":131,"created_at":132},"cf046742-efb2-4753-aef9-caed5da5e32e","adaptive-block-scaled-data-types-zh","IF4：神經網路量化的聰明選擇","2026-03-31T06:00:36.990273+00:00"]