[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"article-act-wisely-tool-use-agentic-multimodal-models-zh":3,"tags-act-wisely-tool-use-agentic-multimodal-models-zh":30,"related-lang-act-wisely-tool-use-agentic-multimodal-models-zh":41,"related-posts-act-wisely-tool-use-agentic-multimodal-models-zh":45,"series-research-5e4f3620-9a8e-4185-84d2-fa8ef42fc058":82},{"id":4,"title":5,"content":6,"summary":7,"source":8,"source_url":9,"author":10,"image_url":11,"keywords":12,"language":18,"translated_content":10,"views":19,"is_premium":20,"created_at":21,"updated_at":21,"cover_image":11,"published_at":22,"rewrite_status":23,"rewrite_error":10,"rewritten_from_id":24,"slug":25,"category":26,"related_article_id":27,"status":28,"google_indexed_at":29,"x_posted_at":10,"tweet_text":10,"title_rewritten_at":10,"title_original":10,"key_takeaways":10,"topic_cluster_id":10,"embedding":10,"is_canonical_seed":20},"5e4f3620-9a8e-4185-84d2-fa8ef42fc058","教代理何時別叫工具","\u003Cp>\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2604.08545\">Act Wisely: Cultivating Meta-Cognitive Tool Use in Agentic Multimodal Models\u003C\u002Fa> 這篇論文，盯上的不是模型會不會用工具，而是模型到底該不該用工具。作者認為，現在不少 agentic multimodal models 有一個很實際的毛病：明明輸入裡已經有答案，模型還是會習慣性去叫外部工具。這種「先叫再說」的行為，看起來很積極，實際上卻可能拖慢系統、增加雜訊，還把推理帶歪。\u003C\u002Fp>\u003Cp>這個問題對開發者來說不陌生。工具呼叫不是免費的。每多一次呼叫，就多一次協調成本、多一個失敗點，也多一層延遲。若是多模態代理，像是看圖回答、結合外部環境操作這類任務，過度依賴工具會讓原本可以直接從感知中解出的問題，變成更慢、更不穩定的流程。\u003C\u002Fp>\u003Ch2>這篇論文想修正什麼\u003C\u002Fh2>\u003Cp>論文把這個現象描述成一種 meta-cognitive deficit，也就是模型在判斷「要不要借助外部工具」這件事上不夠好。它不是單純不會做題，而是不太會判斷自己的內部能力夠不夠，該不該去查工具。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1775801029065-5n2l.png\" alt=\"教代理何時別叫工具\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>這種盲目工具使用，問題不只是在浪費時間。它還會把推理流程弄得更吵。原本模型可能只要看懂輸入就能回答，結果卻因為多了一次工具互動，讓整個決策路徑變長，也更容易出錯。對實際系統來說，這種行為很像一個人明明已經知道答案，卻還是先去翻資料庫，最後反而被更多資訊干擾。\u003C\u002Fp>\u003Cp>作者想修的，就是這個「不會判斷何時不該出手」的問題。重點不是逼模型少用工具，而是讓它學會在對的時機才用。這個差別很大，因為真正有價值的代理，不是工具用得最多，而是工具用得最準。\u003C\u002Fp>\u003Ch2>為什麼一般 reward shaping 不夠\u003C\u002Fh2>\u003Cp>論文指出，現有的強化學習做法，常常會把工具使用當成單一 reward 裡的一個懲罰項。聽起來合理，但作者認為這樣做會把兩件不同的事硬塞進一個分數：一個是任務正確率，一個是工具效率。\u003C\u002Fp>\u003Cp>問題在於，這兩個目標不一定能靠同一個標量獎勵順利平衡。如果工具懲罰太重，模型會開始怕工具，連真的需要外部協助時也不敢用。反過來，如果懲罰太輕，它又會被 accuracy reward 的波動蓋掉，最後對工具過度使用幾乎沒有約束力。作者特別提到，在 advantage normalization 的影響下，這種工具懲罰甚至可能被沖淡到幾乎沒效果。\u003C\u002Fp>\u003Cp>換句話說，這不是單純把懲罰加大就能解的問題。對工程師來說，這很像把兩個互相牽制的系統目標，硬塞到同一個 KPI 裡。表面上看起來只有一個優化方向，實際上卻可能讓模型學到奇怪的權衡，最後在真實部署時表現不如預期。\u003C\u002Fp>\u003Ch2>HDPO 到底怎麼訓練\u003C\u002Fh2>\u003Cp>這篇論文提出的核心方法叫 HDPO。它的想法不是把「答對」和「少用工具」混成一個分數，而是把兩者拆開來處理。作者把工具效率變成一個條件式目標，只有在模型已經能正確完成任務的軌跡裡，才進一步要求它更省工具。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1775801036781-362p.png\" alt=\"教代理何時別叫工具\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>論文用 conditional advantage estimation 來描述這件事。白話一點說，就是模型先要證明自己會做題，之後才會被推著去學更經濟的解法。這樣的訓練順序，等於先把「能不能做對」和「做對時能不能少借外力」分階段學習，而不是一開始就逼模型同時兼顧兩者。\u003C\u002Fp>\u003Cp>作者也把這種安排稱為一種 cognitive curriculum。意思是訓練流程有點像教學順序：先建立能力，再培養節制。對 a\u003Ca href=\"\u002Fnews\u002Fanthropic-managed-agents-enterprise-ai-work-zh\">gent\u003C\u002Fa> 來說，這其實很合理。因為如果一個模型連基本任務都不穩，卻先去學怎麼少叫工具，很可能會學到過度保守的策略；反過來，先學會把任務做對，再來修正工具使用習慣，訓練目標會更清楚。\u003C\u002Fp>\u003Cp>HDPO 的重點，就在這個 decoupling。它不把工具使用當成與正確率正面衝突的單一懲罰，而是把效率當成建立在正確性的前提上。這讓模型比較像在學「判斷力」，而不是單純學「省錢」。\u003C\u002Fp>\u003Ch2>論文實際證明了什麼\u003C\u002Fh2>\u003Cp>根據摘要，作者做了 extensive evaluations，結果顯示最後訓練出來的模型 Metis，有兩個同時發生的結果：工具呼叫次數大幅下降，而且推理正確率還提升了。這是這篇論文最重要的訊號，因為它直接挑戰了常見直覺：少叫工具，不一定會更爛；在這裡，反而可能更好。\u003C\u002Fp>\u003Cp>不過，這份摘要沒有公開完整 benchmark 細節。它沒有列出使用哪些資料集、哪些任務、哪些基準模型，也沒有提供具體數字。因此，從這份 raw 資料本身，我們只能確定方向與結論，還不能精準比對提升幅度，也不能憑摘要\u003Ca href=\"\u002Fnews\u002Ffast-spatial-memory-elastic-test-time-training-zh\">重建\u003C\u002Fa>完整實驗設計。\u003C\u002Fp>\u003Cp>即便如此，這個結果還是有意思。因為它不是在說「我們用更多工具換來更高正確率」，而是說「我們同時減少工具使用，還把推理做得更準」。這種結果如果在更完整的實驗裡也成立，對多模態代理的訓練思路會是很直接的提醒：工具效率不一定要靠犧牲品質換來。\u003C\u002Fp>\u003Cul>\u003Cli>問題：模型會在不需要時也去叫工具。\u003C\u002Fli>\u003Cli>影響：延遲變高、雜訊變多、推理路徑更不穩。\u003C\u002Fli>\u003Cli>方法：HDPO 把正確率與工具效率分開訓練。\u003C\u002Fli>\u003Cli>結果：摘要稱 Metis 同時降低工具呼叫、提升推理正確率。\u003C\u002Fli>\u003C\u002Ful>\u003Ch2>對開發者有什麼意義\u003C\u002Fh2>\u003Cp>如果你在做 multimodal agent、工具調用型 \u003Ca href=\"\u002Fnews\u002Fproject-glasswing-ai-software-bugs-zh\">ass\u003C\u002Fa>istant，或任何會跟外部環境互動的系統，這篇論文其實很像在提醒一個常被忽略的 failure mode：模型看起來很會動作，但其實是過動。它不是每次都真的需要工具，卻把工具當成預設答案，這在 demo 裡可能不明顯，在 production 裡卻會變成成本。\u003C\u002Fp>\u003Cp>HDPO 提供的一個實作啟發是：不要把工具使用只當成主 reward 的附屬懲罰。當你要訓練的是「何時該自己想、何時該外部查詢」這種情境判斷時，單一標量目標很可能不夠乾淨。把效率和正確性拆開，至少在訓練邏輯上會更貼近你真正想要的行為。\u003C\u002Fp>\u003Cp>對產品團隊來說，這代表幾個很現實的好處：更低 latency、更少不必要的 API 呼叫、更少 orchestration overhead，也可能有更穩定的推理路徑。對 ML 工程師來說，這篇論文的價值在於訓練結構，而不只是某個新損失函數。它在說，當行為本身是 context-dependent 的時候，條件式優化可能比硬塞進單一 reward 更有效。\u003C\u002Fp>\u003Cp>但限制也要看清楚。摘要沒有提供完整 benchmark 細節，所以我們不知道這個方法在不同任務、不同工具類型、或不同多模態設定下的泛化情況。也不知道它對工具選擇的敏感度有多高，更不清楚在更複雜的 agent pipeline 裡，這種訓練法會不會遇到新的副作用。換句話說，方向很清楚，但可移植性還需要更多資料支持。\u003C\u002Fp>\u003Cp>不過，這篇論文至少把一件事講白了：工具使用不只是成本問題，也是判斷問題。對 agent 來說，真正重要的能力不是「能不能叫工具」，而是「知不知道現在別叫」。如果你在設計下一代多模態代理，這個觀點值得放進訓練目標裡。\u003C\u002Fp>\u003Ch2>總結\u003C\u002Fh2>\u003Cp>《Act Wisely》想解的，不是模型能不能更強，而是模型能不能更會節制。HDPO 的做法，是把「答對」和「少用工具」分開學，先保證任務正確，再把工具效率學進去。摘要裡宣稱的結果也很直接：工具呼叫大幅下降，推理正確率還提升。\u003C\u002Fp>\u003Cp>對開發者來說，這篇論文的訊號很實際。它不是在推一個新工具，而是在提醒你，訓練 agent 時，別只教它怎麼找幫手，也要教它什麼時候不需要幫手。這種判斷力，可能比多一個工具本身更值錢。\u003C\u002Fp>","HDPO 把「答對」和「少叫工具」分開訓練，想修正多模態代理的盲目工具使用。摘要稱它能大幅減少呼叫次數，同時提升推理正確率。","arxiv.org","https:\u002F\u002Farxiv.org\u002Fabs\u002F2604.08545",null,"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1775801029065-5n2l.png",[13,14,15,16,17],"multimodal agents","tool use","HDPO","reinforcement learning","conditional advantage estimation","zh",0,false,"2026-04-10T06:03:34.31315+00:00","2026-04-10T06:03:34.233+00:00","done","58f5628f-0c88-4c2a-8475-3e4ebde2c276","act-wisely-tool-use-agentic-multimodal-models-zh","research","3cefc37f-e116-4597-a5cb-55bfb3fc4aa4","published","2026-04-10T09:00:23.398+00:00",[31,33,35,37,39],{"name":13,"slug":32},"multimodal-agents",{"name":15,"slug":34},"hdpo",{"name":17,"slug":36},"conditional-advantage-estimation",{"name":14,"slug":38},"tool-use",{"name":16,"slug":40},"reinforcement-learning",{"id":27,"slug":42,"title":43,"language":44},"act-wisely-tool-use-agentic-multimodal-models-en","Act Wisely: Teaching Agents When Not to Call Tools","en",[46,52,58,64,70,76],{"id":47,"slug":48,"title":49,"cover_image":50,"image_url":50,"created_at":51,"category":26},"667b72b6-e821-4d68-80a1-e03340bc85f1","turboquant-seo-shift-small-sites-zh","TurboQuant 與小站 SEO 變化","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778840440690-kcw9.png","2026-05-15T10:20:27.319472+00:00",{"id":53,"slug":54,"title":55,"cover_image":56,"image_url":56,"created_at":57,"category":26},"381fb6c6-6da7-4444-831f-8c5eed8d685c","turboquant-vllm-comparison-fp8-kv-cache-zh","TurboQuant 與 FP8 實測結果","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778839867551-4v9g.png","2026-05-15T10:10:36.034569+00:00",{"id":59,"slug":60,"title":61,"cover_image":62,"image_url":62,"created_at":63,"category":26},"c15f45ee-a548-4dbf-8152-91de159c1a11","llmbda-calculus-agent-safety-rules-zh","LLMbda 演算替 AI 代理人立安全規則","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778825503412-mlbf.png","2026-05-15T06:10:34.832664+00:00",{"id":65,"slug":66,"title":67,"cover_image":68,"image_url":68,"created_at":69,"category":26},"0c02225c-d6ff-44f8-bc92-884c8921c4a3","low-complexity-beamspace-denoiser-mmwave-mimo-zh","更簡單的毫米波波束域去噪器","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778814650361-xtc2.png","2026-05-15T03:10:30.06639+00:00",{"id":71,"slug":72,"title":73,"cover_image":74,"image_url":74,"created_at":75,"category":26},"9d27f967-62cc-433f-8cdb-9300937ade13","ai-benchmark-wins-cyber-scare-defenders-zh","為什麼 AI 基準賽在資安領域的勝利，應該讓防守方警醒","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778807450006-nofx.png","2026-05-15T01:10:29.379041+00:00",{"id":77,"slug":78,"title":79,"cover_image":80,"image_url":80,"created_at":81,"category":26},"bc402dc6-5da6-46fc-9d66-d09cb215f72b","why-linux-security-needs-patch-wave-mindset-zh","為什麼 Linux 安全需要「補丁浪潮」思維","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778741449813-s2wn.png","2026-05-14T06:50:24.052583+00:00",[83,88,93,98,103,108,113,118,123,128],{"id":84,"slug":85,"title":86,"created_at":87},"f18dbadb-8c59-4723-84a4-6ad22746c77a","deepmind-bets-on-continuous-learning-ai-2026-zh","DeepMind 押注 2026 連續學習 AI","2026-03-26T08:16:02.367355+00:00",{"id":89,"slug":90,"title":91,"created_at":92},"f4a106cb-02a6-4508-8f39-9720a0a93cee","ml-papers-of-the-week-github-research-desk-zh","每週 ML 論文清單，為何紅到 GitHub","2026-03-27T01:11:39.284175+00:00",{"id":94,"slug":95,"title":96,"created_at":97},"c4f807ca-4e5f-47f1-a48c-961cf3fc44dc","ai-ml-conferences-to-watch-in-2026-zh","2026 AI 研討會投稿時程整理","2026-03-27T01:51:53.874432+00:00",{"id":99,"slug":100,"title":101,"created_at":102},"9f50561b-aebd-46ba-94a8-363198aa7091","openclaw-agents-manipulated-self-sabotage-zh","OpenClaw Agent 會自己搞砸自己","2026-03-28T03:03:18.786425+00:00",{"id":104,"slug":105,"title":106,"created_at":107},"11f22e92-7066-4978-a544-31f5f2156ec6","vega-learning-to-drive-with-natural-language-instructions-zh","Vega：使用自然語言指示進行自駕車控制","2026-03-28T14:54:04.847912+00:00",{"id":109,"slug":110,"title":111,"created_at":112},"a4c7cfec-8d0e-4fec-93cf-1b9699a530b8","drive-my-way-en-zh","Drive My Way：個性化自駕車風格的實現","2026-03-28T14:54:26.207495+00:00",{"id":114,"slug":115,"title":116,"created_at":117},"dec02f89-fd39-41ba-8e4d-11ede93a536d","training-knowledge-bases-with-writeback-rag-zh","用 WriteBack-RAG 強化知識庫提升檢索效能","2026-03-28T14:54:45.775606+00:00",{"id":119,"slug":120,"title":121,"created_at":122},"3886be5c-a137-40cc-b9e2-0bf18430c002","packforcing-efficient-long-video-generation-method-zh","PackForcing：短影片訓練也能生成長影片","2026-03-28T14:55:02.688141+00:00",{"id":124,"slug":125,"title":126,"created_at":127},"72b90667-d930-4cc9-8ced-aaa0f8968d44","pixelsmile-toward-fine-grained-facial-expression-editing-zh","PixelSmile：提升精細臉部表情編輯的新方法","2026-03-28T14:55:20.678181+00:00",{"id":129,"slug":130,"title":131,"created_at":132},"cf046742-efb2-4753-aef9-caed5da5e32e","adaptive-block-scaled-data-types-zh","IF4：神經網路量化的聰明選擇","2026-03-31T06:00:36.990273+00:00"]