證據驗證不再只看標籤

很多號稱「有證據基礎」的系統，實際上只是把證據塞進輸入裡，卻沒有真的用到。模型看起來像在比對資料，最後卻可能只是靠病例本身、語意相近的片段，或訓練時記住的標籤在做判斷。這篇論文，Case-Grounded Evidence Verification: A Framework for Constructing Evidence-Sensitive Supervision，就是在處理這個老問題：怎麼讓模型不只「看到」證據，而是真的「依賴」證據。

它的切入點很直接。作者不是把重點放在再做一個更大的模型，而是回頭檢查監督訊號本身。因為如果訓練資料沒有清楚告訴模型「什麼叫支持」、「什麼叫不支持」，那模型很容易學到捷徑。這種捷徑在一般測試看不太出來，但一旦證據被移除、替換，或換成不相關內容，系統就會露餡。

這篇摘要沒有公開完整 benchmark 細節，所以我們看不到精確分數，也不能拿數字來比高低。但從摘要能確定的是，作者要解的不是單純分類問題，而是「證據是否真的支撐這個特定案例的主張」這件事。對醫療、文件審核、檢索式推理這類場景來說，這個差別非常大。

問題在哪裡：證據放進去了，卻不代表有用

論文一開始就指出一個常見失敗模式。很多 evidence-based 或 retrieval-augmented 系統，在訓練時會同時拿到本地病例上下文、外部證據，以及一個結構化主張。但訓練流程往往沒有強迫模型證明：這段證據真的支持這個主張，而且是針對這個案例支持。

換句話說，證據雖然出現在 prompt 裡，卻可能只是裝飾。模型可能靠病例上下文就能猜答案，也可能看到一些主題相關的文字就覺得「差不多對」。這種情況下，系統表面上像是 grounded，實際上 grounding 很薄弱。

作者把問題拆成三個層次。第一，監督太弱。第二，證據和主張的連結不夠緊。第三，評估方式常常只看最後答案，沒有直接測試模型遇到不同證據時會不會改變判斷。只要測試沒有把證據拿掉、調換或擾動，你就很難知道模型到底有沒有真的看證據。

這也是這篇論文最實用的地方。它不是在討論一個抽象的 AI 倫理命題，而是在指出工程上很常見的坑：你以為模型在驗證證據，其實它只是在做語意分類或記憶比對。對需要可解釋決策的系統來說，這會直接影響可信度。

方法怎麼做：把「支持」變成可學的監督訊號

作者提出的框架叫做 case-grounded evidence verification。做法很簡單，輸入有三個部分：本地病例上下文、外部證據，以及結構化主張。模型要回答的不是泛泛的分類題，而是更嚴格的一題：這份證據，對這個案例來說，是否真的支持這個主張？

真正的重點在資料怎麼建。摘要說，作者設計了一套 supervision construction procedure，不是靠大量人工標註證據，而是生成明確的支持樣本，並且用受控方式產生不支持樣本。這些負樣本不是亂配，而是刻意做成「難得有意義」的樣子，讓模型不能只靠表面詞彙或主題相似度混過去。

摘要特別提到兩類負樣本。第一種是 counterfactual wrong-state negative，也就是把案例狀態改掉，讓原本成立的主張變得不成立。第二種是 topic-related negative，主題看起來相關，但實際上並不能支持那個主張。這兩種負樣本搭配起來，效果很像在訓練模型分辨「有關」和「有支持關係」的差別。

白話一點說，這套方法不是只丟給模型一堆檢索結果，然後期待它自己悟出證據關係；而是用資料設計逼它學會「支持」這件事。這比單純把 claims 跟 retrieved text 配對，更能把證據的因果角色寫進訓練訊號裡。

論文實際證明了什麼

作者把這個框架放到放射科場景裡，並訓練一個標準 verifier 來做支援判斷。摘要沒有提供完整 benchmark 數字，所以我們不能報出精確提升幅度。不過摘要明確說，這個 verifier 明顯優於 case-only baseline 和 evidence-only baseline。

這個比較其實很關鍵。case-only baseline 代表只看病例資訊，不看外部證據；evidence-only baseline 則代表只看證據，不看本地案例。能同時勝過這兩者，至少說明模型不是只記住一邊，而是學到了病例與證據之間的關係。這正是 evidence verification 真正想要的能力。

更有意思的是，摘要提到模型在正確證據存在時表現穩定，但當證據被移除或替換時，效能會明顯崩掉。這種現象在研究上通常不是壞事，反而是好訊號。因為它表示模型真的把證據當成決策依據，而不是把證據當成可有可無的背景文字。

摘要還說，這種效果可以延伸到未見過的 evidence articles，以及外部的 case distribution。這代表方法不是只對訓練時看過的資料有效。當然，作者也沒有把它說成萬靈丹。相反地，摘要明講了兩個限制：當 evidence-source 發生 shift 時，效能會下降；而且結果仍然受 backbone 選擇影響。也就是說，方法有效，但不是對任何來源、任何架構都一樣穩。

• 優點：模型在正確證據存在時能維持表現。
• 優點：證據被移除或替換時，模型會明顯失效，顯示真的依賴證據。
• 優點：效果可延伸到未見過的文章與外部案例分布。
• 限制：evidence-source shift 仍會拉低表現。
• 限制：結果會受 backbone 影響。

對開發者有什麼影響

如果你在做檢索式問答、醫療輔助審查、文件驗證，或任何需要模型「根據證據做判斷」的系統，這篇論文給的訊息很實際：retrieval 不等於 grounding。你把資料找回來，只是把上下文補齊；模型會不會真的用那些資料，還要看訓練時有沒有被迫學到證據依賴。

這也是這篇工作的工程價值。摘要顯示，這種 evidence-sensitive supervision 可以透過資料建構做出來，而不一定要仰賴大量人工證據標註。對團隊來說，這很重要。因為標註證據通常比標答案更貴，也更耗時。如果能用受控方式自動產生支持與非支持樣本，就有機會把資料規模做大，同時保留訓練訊號的品質。

另外一個很實用的啟示，是評估方式要跟著改。若你真的想知道一個 verifier 有沒有吃證據，就不能只看一般 validation accuracy。你應該測試：證據拿掉會怎樣、證據換掉會怎樣、證據來源換一批會怎樣。只要模型在這些情境下還是維持同樣輸出，那它多半只是學會了捷徑。

對實作端來說，這篇論文比較像是一個方向，而不是現成套件。摘要沒有交代 verifier 的完整架構，也沒有公開訓練細節到足以直接複製。但它已經把核心原則講得很清楚：如果你希望模型真的依賴證據，就要在資料層把「支持」這件事做成強訊號，而不是只在推論時祈禱模型會自己懂。

還有哪些限制與待解問題

因為目前看到的是摘要，還有不少實作細節沒有公開。像是放射科設定的範圍有多大、負樣本到底怎麼生成、verifier 用的是哪一類 backbone，摘要都沒有完整交代。這些都會影響方法能不能被其他團隊重現。

此外，摘要雖然說方法能跨到未見過的文章與外部案例分布，但同時也承認 evidence-source shift 會讓表現變差。這代表系統對資料來源還是敏感。對實際部署來說，這很重要，因為真實世界的證據來源常常不乾淨，也不一定跟訓練集同分布。

所以，這篇論文最值得記住的不是某個漂亮分數，而是它把問題講得很準：證據 grounding 的瓶頸，很多時候不在模型有沒有足夠大，而在監督設計有沒有真的要求模型依賴證據。只要訓練訊號沒有把這件事說清楚，模型就可能永遠停留在「看起來有用證據」的階段。

對台灣的開發者或研究團隊來說，這篇工作很適合拿來當設計檢查表。你如果正在做醫療 AI、文件審核、法遵比對，或任何需要模型對照外部資料的產品，不妨先問一句：我的訓練資料，有沒有真的逼模型學會什麼叫支持？如果答案是否定的，那系統的 grounding 很可能只是表面功夫。