Vance 警告把 AI 拉回政策

我拆解 Vance 對 AI 介入戰爭的警告，順手整理成可直接套用的人在迴路軍事政策模板。

我看 AI demo 看久了，真的很容易對那種「看起來什麼都能做」的東西麻木。模型回得快、簡報做得漂亮、大家點頭點得很整齊，像是問題已經解完了。可是一旦 AI 碰到會出人命的決策，整個氣氛就不一樣了。它不再是效率工具，而是責任切割機、稽核地獄、還有指揮鏈風險。

所以我看到副總統 JD Vance 在美國空軍官校講 AI 的那段話時，耳朵立刻豎起來。不是因為他講得多文青，剛好相反，他講得很直接：如果 AI 要碰戰爭，最後那一刀不能交給機器。我看過太多團隊把「human oversight」當成貼紙，真要落地時，整句話就只剩安慰作用。這篇我想拆的不是政治表態，而是它背後那套能不能拿來管系統、管團隊、管責任的邏輯。

我先把來源放前面：NBC News 的報導 Vance warns AI shouldn’t outrank humans in war，作者是 Henry J. Gomez 和 Jared Perlo。這篇沒有提供可引用的社群數字，所以我不亂編。真正重要的是那句原話：“decisions over life and death must be made by humans and not machines.”

他不是在罵 AI，他是在劃權限

“decisions over life and death must be made by humans and not machines.”

翻譯一下就是：Vance 不是在說 AI 沒用，他是在說 AI 的邊界不能碰到最後決策權。這差很多。很多人聽到這種話，腦中會自動切成二選一：不是全面擁抱 AI，就是全面排斥 AI。其實根本不是這樣。他講的是「誰有權下最後指令」，不是「AI 能不能做分析」。

我自己看過不少系統設計，最容易出事的地方不是模型答錯，而是人把模型答錯當成正式決策。模型可以幫你整理情資、排序風險、彙整報告，這些都合理。但一旦模型開始替人做決定，尤其是會導致傷亡的決定，那就不是工具問題，是授權問題。

實操上，我會把這條線寫死：AI 一律只能 advisory，除非有明確的人類批准。不要只寫「有人工介入」這種空話，要寫清楚誰批准、看到什麼資訊、多久內要決定、如果不同意模型怎麼辦。寫不出來，就代表你沒有治理，你只有感覺很好。

• AI 可以建議、排序、提醒。
• 人類要批准任何致命動作。
• 每次批准都要留稽核紀錄。
• 每次覆寫模型都要寫原因。

真正可怕的不是機器人，是人太相信機器

Vance 這段話表面上在講戰爭，實際上更像是在點一個老問題：automation bias。也就是人看到機器輸出得很有自信，就下意識相信它已經想過了。這種偏誤很陰，因為它不靠錯誤答案才發作，它靠的是「看起來像對的答案」。

我在產品、客服、資安都看過這種事。模型一放進去，團隊就開始把它當資深同事。支援團隊把它當權威來源，業務把它當真相機，資安把它當神諭或垃圾桶。這些都不對。模型的語氣像不像人，不代表它真的懂。它只是把輸出包裝得像有把握而已。

這裡我很認同 NBC 那篇提到的另一個角度：Vance 也在談 AI 的資安風險。因為問題不只是在於模型會不會做出錯誤判斷，還包括它會不會被操弄、被污染、被塞進假訊號。只要系統能被騙，靠它做決策的人也會一起被騙。

實操上，我會故意加摩擦，不是為了折磨使用者，而是為了讓高風險決策不要一路滑過去。像是雙人複核、獨立系統交叉驗證、強制等待時間，這些都很土，但很有效。高風險系統最怕的不是慢，是快得太順。

• 高風險建議要有獨立驗證。
• 介面要顯示不確定性，不只顯示答案。
• 要記錄模型版本、提示詞、操作者。
• 訓練操作員質疑模型，不是崇拜模型。

「人要嫉妒又自私」這句怪話，重點其實是所有權

Vance 用了「jealous and selfish」這種很怪的詞，老實說我第一次看到也皺眉。但我懂他在講什麼。他要的是一種態度：人類操作員不能因為 AI 方便，就把判斷權輕鬆交出去。那不是節省流程，那是把責任外包給機器。

這件事在公司裡也很常見，只是平常沒那麼致命。系統越快、越順、越不會抱怨，人就越容易懶得判斷。今天是讓模型幫你寫摘要，明天是讓模型幫你決定優先級，後天就是「反正模型都這樣說了」。文化一旦開始把依賴當正常，之後就很難拉回來。

我以前在團隊裡也看過這種滑坡。某個 dashboard 一開始只是參考，後來變成唯一真相。沒人真的說「從今天開始不要思考」，但結果就是大家都不想再質疑。AI 更危險，因為它比 dashboard 更會講話，也更會裝懂。

實操上，我會把人類責任寫進制度，不是寫在口號裡。角色說明、訓練內容、升級規則，都要明確寫「誰是最後決策者」。如果人可以推翻模型，那他就得有足夠資訊、足夠時間、足夠權限，不然這只是形式上的批准。

Vance 不是反 AI，他是在做邊界管理

這篇報導也提到，Vance 並不是那種一聽到 AI 就先喊危險的人。他在別的場合其實是偏支持 AI 發展的，甚至在巴黎 AI Action Summit 還對歐洲講過不要只會恐懼。這點很重要，因為它說明他不是在否定技術，而是在切分「能做」跟「能決定」的差別。

我覺得這才是比較成熟的姿勢。很多政策討論一走偏，就變成兩種爛戲：一種是「先衝再說」的樂觀主義，另一種是「全部封死」的恐懼主義。兩邊都很省事，但都不管用。真正要管的是權限，不是情緒。

對開發者來說，這個差別很實際。系統可以有能力做某件事，不代表它被允許自己做。推薦可以，分析可以，輔助可以；但如果是會造成致命後果的行為，那就得把權限鎖死。這不是產品功能問題，是治理設計問題。

實操上，我會在架構文件裡直接拆開 capability 和 authority。前者是技術能不能，後者是制度准不准。兩者混在一起，之後一定出包。你要是連這兩欄都寫不出來，通常代表團隊還沒想清楚自己到底在做什麼。

沒有寫下來的護欄，最後都會被速度吃掉

我最不信的，就是那種「大家都知道要有人類監督」的說法。知道有什麼用？沒寫進流程、沒寫進稽核、沒寫進 code，最後都會被例外條款磨掉。NBC 那篇提到白宮內部對 AI 風險的拉扯、公司遊說、還有資安疑慮，這些都很熟悉：大家都想要一個漂亮說法，但真的要落地時，沒人想被流程綁住。

我做過合規相關的系統，學到一件很煩但很真實的事：如果規則不夠清楚，最後一定會往最快的路徑滑。不是因為大家壞，而是因為大家忙。忙到最後，護欄就變成裝飾品。

所以我會把這種原則做成可執行文件，不是做成演講稿。要寫清楚允許什麼、禁止什麼、誰簽核、多久複查、模型出錯時怎麼升級處理。尤其是高風險場景，文件不能只給法務看，工程、營運、操作員都要看得懂。

實操上，最少要有三樣東西：一頁政策、一份檢查清單、一套紀錄規格。這三樣加起來，才有機會讓「人類在迴路中」不是一句空話。

可抄的模板

# AI 輔助軍事決策的人類主責政策（Human-in-the-Loop Policy）

## 目的
AI 系統可以支援分析、規劃與監控，但不得單獨做出涉及生命、死亡、拘留或武器使用的最終決策。

## 核心原則
任何可能導致傷害、死亡、拘留或武器釋放的行動，必須由具資格的人類官員做出最終決定。

## 允許用途
- 彙整感測器與監視資料
- 標記異常、風險與可疑目標
- 排序可選方案供人類審查
- 草擬情勢報告與任務摘要
- 支援後勤、維修與排程

## 禁止用途
- 自主致命攻擊
- 未經人類批准的自主目標選擇
- 由機器直接完成最終打擊授權
- 隱藏式決策路徑，操作員無法審查
- 任何繞過人工批准步驟的 AI 輸出

## 人類批准要求
在任何高風險行動前：
1. 合格的人類審查者必須先看到 AI 建議。
2. 審查者必須能看到模型信心、已知限制與關聯情境。
3. 審查者必須能拒絕建議，且不得因此受罰。
4. 決策必須記錄審查者身份、時間、模型版本與理由。

## 覆寫規則
若 AI 輸出與操作員判斷衝突，以人類判斷為準；除非更高層級的人類官員明確覆寫，並記錄原因。

## 安全檢查
- 對關鍵建議做獨立驗證
- 測試對抗輸入、偽造訊號與資料污染
- 每次重大更新後重新驗證模型行為
- 以固定週期檢查誤判與漏判

## 訓練要求
所有操作員都必須接受訓練，以：
- 質疑 AI 輸出
- 辨識 automation bias
- 理解模型限制
- 在不確定時升級回報，不要自己猜

## 稽核與複查
- 保留不可竄改的 AI 輔助決策紀錄
- 每月抽查高風險決策樣本
- 一旦稽核能力失效，立即暫停系統
- 任何重大變更後重新核准系統

## 白話版
機器可以建議，人類負責決定。

我會怎麼把這篇變成真的制度

如果是我在寫這份政策，我不會把它寫成一篇很帥的宣言。宣言通常拿來轉貼，制度才是拿來擋事的。這篇 NBC 報導給我的，不是口號，而是一個很清楚的原則：AI 可以進戰場，但不能取代人類對致命決策的主權。

所以我會做三個交付物：一頁政策、一份審查 checklist、一份 logging 規格。只要這三個東西齊了，團隊在面對 AI 時就比較不容易把責任丟給機器，也比較不容易用「系統建議」來洗白人類決策。

講白一點，最好的 AI 政策通常不是最會吹的那份，而是最難讓人偷懶的那份。機器可以在場，但它不能拿走最後一句話。

來源致謝：主要拆解來自 NBC News 原文 https://www.nbcnews.com/politics/jd-vance/vance-warns-ai-not-outrank-humans-war-rcna347357。文中的政策模板與實作建議是我根據該報導延伸整理的衍生內容，不是官方文件。