在一項 Claude Code 控制實驗中,Haiku 4.5 被委派讀取偽造紀錄的「stacked」條件下,180次測試有75次將原本正確答案改為錯誤答案。研究團隊表示,這項結果來自同時疊加多種偽造手法的特定實驗條件。
研究團隊於13日凌晨6時14分(韓國時間)將論文提交至 arXiv,並測試 Claude Code 與 Codex。研究人員在檔案庫中放入偽造紀錄,要求模型從兩個選項中選出正確答案。
實驗使用包含虛構事實的紀錄和二選一問題,並保留含有正確答案的原始紀錄。
論文將「答案改錯」定義為:模型起初回答正確,接觸偽造紀錄後,改選攻擊者誘導的錯誤答案。研究團隊依此標準統計各模型組合的結果。
Claude Code 的 Opus 5 直接讀取偽造紀錄時,180次測試中有1次改選錯誤答案。將讀取工作交給輔助模型的「stacked」條件,則有75次答案遭改錯。
在 Codex 實驗中,GPT-5.6-sol 直接讀取資料時,180次測試沒有答案遭改錯;由 GPT-5.6-terra 代為讀取的「gloss」條件,則有44次改選錯誤答案。
兩款產品引導模型委派工作的方式也不同。研究團隊限制 Claude Code 的上層模型只能透過 Task 工具呼叫輔助模型;Codex 實驗則以指令引導模型委派,並在每次測試中確認是否實際發生委派。
結果也因攻擊類型而異。Codex 在「gloss」條件下直接讀取紀錄時沒有選錯答案,但在另一種「correction」條件下,即使直接讀取,180次測試仍有172次改選錯誤答案。
偽造紀錄中留有可供辨識的線索:偽造內容的日期早於其聲稱要更正的紀錄,且缺少真實紀錄上的收件標示。
在受測條件下,直接命令自動化工具更改答案的提示注入沒有奏效。研究團隊指出,把虛假事實包裝成紀錄的攻擊,與直接加入指令的攻擊,測試結果有所不同。
Claude Code 的「stacked」條件中,輔助模型傳給上層模型的180份報告,只有96份保留了來源線索。即使報告包含線索,96次中仍有21次出現錯誤答案,因此來源線索遺漏無法單獨解釋所有結果。
研究團隊提出,委派過程可能減少了驗證機會,但沒有將此認定為已證實原因。部分報告雖保留來源線索,上層模型仍選了錯誤答案;相關分析則建立在觀察到的關聯上。
在控制條件下,使用同等級輔助模型時,Claude Code 180次測試中沒有答案遭改錯,Codex 則有1次。若委派讀取的是沒有偽造紀錄的檔案庫,兩款工具都沒有答案遭改錯。
另一組40次測試中,原本有15次答錯的條件,在要求輔助模型引用原始紀錄後,錯誤次數降至3次;要求模型對檔案庫保持懷疑的條件則為1次。不過,兩種防護方式的差異在統計上無法區分(p=0.63)。
在3652組重複實驗中,模型對同一事實的判斷有13.0%不一致。這項研究使用虛構紀錄進行控制實驗,沒有測試虛擬資產服務或區塊鏈資料,因此實驗數值不能視為實際使用者錯誤率或安全事故發生率。
Comment 0