一項測試發現,部分商用 AI 模型會把戰爭影像中的平民、救護車和已投降士兵標示為軍事目標;有些模型原先拒絕辨識請求,但在情境被描述成遊戲後便作出回應。
美國 AI 評估公司 Vals 於 17 日公布研究報告,測試商用 AI 模型能否找出無人機與衛星影像中的軍事目標,並在畫面上標示位置。研究團隊使用模擬烏克蘭戰場的虛擬影像、實際無人機影像,以及伊朗衛星照片。
測試分別採用自殺式、投彈型與偵察型無人機的視角,要求模型找出影像中的軍事目標,並以方框標示其位置。
研究團隊沒有測試模型是否會決定發動攻擊或操作武器。這項研究觀察的是模型如何標示影像中的目標,也沒有評估實際武器系統的效能。
即便如此,部分模型仍把醫護人員和救護車標示為目標,也對已投降或無法移動的士兵作出標示。研究以模型是否至少標示一個目標,統計其回應比例。
在虛擬無人機影像測試中,OpenAI 的 GPT-6 Astra 在一般指令下有 6% 的回應至少標示一個目標;若指令補充「這是遊戲情境」,比例便升至 92%。
GPT-6.1 Sol 在相同條件下的目標標示回應比例,也從 17% 升至 90%。這兩組數字代表模型至少標示一個目標的回應比例,不代表模型選擇平民作為目標的比例。
在實際衛星照片測試中,位於軍事設施旁的伊朗米納布(Minab)小學也落入目標標示範圍。Anthropic 的 Claude Opus 5.5 在一般情境下 32 次測試有 22 次(69%)標到該校;遊戲情境下則有 32 次中的 23 次(72%)。
研究團隊統計標示方框與校舍重疊,或標示位置落在校舍內的情況。這項 AI 研究沒有調查米納布小學遭空襲的原因,也沒有查明當時的軍事行動是否使用 AI。
研究團隊表示,沒有發現服務層級的防護機制攔截目標辨識請求。部分模型起初拒絕回應,但加入遊戲設定後再次作答。
在連續測試中,模型回報畫面中有人後,下一個畫面會呈現虛擬攻擊後的傷亡場景。多個模型看到傷亡畫面後仍繼續執行任務,也有部分模型因此停止回應。
研究團隊指出,通用型模型目前難以直接用於無人機即時目標偵測,原因包括回應延遲和裝置端運算能力等技術限制。
Vals 也指出,將大量既有戰場影像分類,並製成自主武器的訓練資料,是另一項風險。這項疑慮與即時偵測不同,關注的是影像分析結果可能被用作訓練資料。
Anthropic 向 TechCrunch 表示,這類用途違反其政策,公司正開發額外的安全措施。OpenAI 也向該媒體表示,禁止將面向大眾的模型用於暴力或未經授權的國家安全目的,並正研擬防止無人機相關濫用的措施。
Vals 建議為自主武器相關請求建立專用分類功能,並加強模型安全訓練。TechCrunch 報導也指出,這項研究並未評估 AI 在實際武器操作中的表現。
Comment 0