修正多模態 LLM 評審偏誤

這篇論文提出一套訓練方式，讓多模態 LLM 評審更依賴影像證據，而不是被看起來合理的文字帶偏。

• 研究機構：arXiv 摘要未明確標註
• 核心數據：摘要無公開 benchmark 數字
• 突破點：感知擾動加批次排序

多模態 LLM 現在不只拿來回答問題，也開始被拿去當自動評審。問題是，這種評審有時候會被「講得通」的文字騙過，反而沒真的去看圖。這篇論文就是在處理這個偏誤：當圖片和文字衝突時，模型可能選了故事性更強的答案，而不是和視覺證據一致的答案。

作者把這個現象叫做 Perceptual Judgment Bias，也就是感知判斷偏誤。白話一點說，就是多模態評審太依賴輸入文字，卻沒有把自己的視覺理解用好。這會讓評審結果不穩，也很難驗證。

這篇在修什麼痛點

LLM-as-a-judge 之所以吸引人，是因為它能把原本要人工做的評分、排序、篩選流程自動化。到了多模態場景，這個評審不只是看文字，還要看圖片。聽起來很合理，但真正的風險在於：模型看起來像有在判斷，實際上卻可能只是順著候選答案的敘事走。

摘要指出，這種失誤在控制過的視覺擾動下特別明顯。也就是說，當圖像和答案之間有細微衝突時，現有多模態評審常常沒有穩定地回頭檢查影像，而是直接被回應文字牽著走。對開發者來說，這很危險，因為一個會講故事的錯誤答案，可能比一個簡短但正確的答案更容易拿高分。

這件事不只影響單一模型的好壞。只要你的系統會用 MLLM 來排序模型輸出、評分視覺推理，或在 pipeline 裡過濾候選答案，這種偏誤都可能被一路放大。最後系統優化的，不一定是視覺理解能力，而是文字表達的說服力。

方法到底怎麼做

這篇論文先做了一個叫做 Perceptually Perturbed Judgment Dataset 的資料集。重點不是把資料做得更大，而是把錯誤設計得更精準：用最小幅度修改的反事實回應，去隔離感知層面的錯誤。這樣模型就比較不能靠整體語氣或敘事風格混過去，而是得真的去比對視覺差異。

這個設計很關鍵，因為它讓訓練訊號更接近「模型本來該看到什麼」。如果只是一般偏好學習，模型可能學到的是某種模糊的評分習慣；但當資料刻意把感知錯誤攤開來，訓練就能更直接地逼模型面對圖像與文字衝突時該怎麼判。

第二個核心是訓練框架。作者把 structured GRPO-based reward 和 batch-ranking objective 放在一起，用來做統一訓練。摘要的說法是，這樣可以在沒有明確 pairwise 標註的情況下，得到一致的全域排序。翻成白話，就是模型不只要把單筆判斷打對，還要讓一整批樣本的排序邏輯彼此一致。

這個組合是論文真正的技術重點。reward 端負責把模型往感知正確的方向推，batch ranking 則負責讓它在多個例子之間維持排序一致性。作者想解的，不只是局部判斷變準，而是整個評審輸出更像一套可用的排序系統。

論文實際證明了什麼

摘要說，作者在多個 MLLM-as-a-Judge benchmark 上做了實驗，結果顯示這套方法能明顯提升感知忠實度、排序一致性，以及和人類評估的對齊程度。這是這篇論文最重要的結論。不過，摘要沒有列出 benchmark 名稱，也沒有公開任何數字分數，所以這裡沒辦法報出具體提升幅度。

這個缺口也值得注意。就目前提供的摘要來看，作者的主張是方向性的，不是數字化的。也就是說，我們知道它聲稱有改善，但看不到表格、看不到絕對分數，也看不到誤差率。對研究新聞來說，這代表我們可以講清楚方法和結論，但不能替它補上不存在的 benchmark 細節。

摘要另外提到，這個方法具有可擴展性，也能泛化到不同情境。這句話的意思是，作者相信這套訓練配方不只適用於一個特定測試集。不過，摘要沒有交代完整的任務範圍、模型規模，或資料組成，所以這些細節都不能從目前來源直接推回來。

對開發者有什麼影響

如果你正在做多模態評審，這篇的提醒很直接：看起來合理，不等於真的有看圖。只要評審模型會被敘事流暢度帶偏，你的排序、評分、篩選流程就可能默默失真。這種 bug 很難被肉眼發現，因為輸出本身可能還是很像一回事。

這篇論文的價值，在於它把「評審模型本身」當成需要校準的對象，而不是把它當成黑盒分數機。它提出的資料集和訓練流程，目標都是讓評審更貼近視覺證據，也更能維持排序一致性。對工程團隊來說，這代表一條可操作的方向：不要只看模型會不會讀文字，也要看它會不會真的被圖像約束住。

更大的啟示是，多模態評估不是因為模型能吃進圖片就算完成。評審要先學會在圖文衝突時做出正確選擇，系統才算真的可靠。否則，最後被獎勵的可能是最會說服人的答案，而不是最符合證據的答案。

限制與還沒回答的問題

目前來源只給了高層方法，實作細節還是不少空白。摘要沒有 benchmark 數字，沒有 benchmark 名稱，也沒有說明哪些情境改善最多。訓練成本、資料建構難度、以及在邊界案例上的表現，也都沒有在這份摘要裡交代。

另一個問題是，這套方法在更真實、更雜亂的衝突情境下能不能維持效果。摘要強調的是「最小修改」的反事實回應，這對隔離感知錯誤很有幫助，但現實世界的評審常常不是這麼乾淨。圖像可能更複雜，答案也可能有多層語意，這些都還看不到完整答案。

所以，這篇論文目前能確定的，不是它已經解決了多模態評審的全部問題，而是它抓到了一個很具體、也很實際的弱點：模型會被好聽的文字帶偏。作者提出的修法，是直接對準這個偏誤下手，而不是期待模型自己學會。

總結

這篇論文指出，多模態 LLM 當評審時，會出現明顯的感知判斷偏誤，然後提出一套以感知擾動、GRPO reward 和 batch ranking 組成的訓練方法來修正它。摘要沒有公開數字化 benchmark 成績，但主張這套方法能提升感知忠實度、排序一致性，並更貼近人類評估。

對開發者來說，重點很簡單：如果你的 judge 會被一段講得很順的文字騙過，那你的評估流程就還不夠穩。這篇提供了一個具體方向，讓多模態評審更受影像證據約束，而不是只跟著說法漂亮的答案走。

• 多模態評審會被敘事流暢度帶偏，導致圖文衝突時判斷失真。
• 作者用最小修改的反事實回應，讓模型更聚焦感知錯誤。
• GRPO reward 搭配 batch ranking，可做出更一致的全域排序。