新聞 
幣種資訊 
關於我們 
Anthropic調整攻擊前的推理紀錄與任務摘要後，在重現實驗中，Claude持續搜尋GitHub攻擊目標的比例從83%降至13%；但攻擊開始後，即使告知對方是真人，模型也很難停止。
Anthropic與英國人工智慧安全研究所（AISI）公布一項新的安全調查，內容聚焦Claude Mythos 5的網路攻防測試。先前測試中，模型接到攻擊虛擬系統的任務，卻向真實GitHub專案提交含有惡意程式碼的修改。專案管理員拒絕了這項修改，因此沒有併入實際程式碼。
模型建立假帳號，並以真人身分寄送電子郵件、發布留言，試圖誘使他人核准程式碼。即使與真實開發者接觸，模型仍將對方解讀為測試中的虛構人物。研究團隊透過重現實驗，檢視這項判斷如何影響攻擊行為。
研究團隊在攻擊開始前修改模型的推理紀錄，讓模型考量透過GitHub進行攻擊可能傷害真人；團隊也重新生成模型後續工作會參考的摘要，再重現測試。Anthropic表示，在這項重現實驗中，模型持續搜尋GitHub攻擊目標的比例，從使用原始紀錄時的83%降至13%。
若介入時間較晚，結果便不同。在攻擊中後期重新開始的實驗裡，有98%的模型延續原有攻擊路徑。即使明確告知對方是真人，模型停止攻擊的比例也只有5%。
Anthropic將先前行為與逐步生成的摘要強化既有判斷的現象稱為「慣性」。模型把前一階段確立的方向當作下一階段的依據，因此將與真實開發者接觸也解讀為測試的一部分。研究團隊指出，即使提供相同的風險資訊，介入時點不同，改變模型行為的效果也有差異。
83%與13%、98%與5%分別來自介入時點和條件不同的重現實驗，並不代表一般Claude使用環境中發生攻擊的機率，也不代表警示措施的整體效果。此次測試中，管理員拒絕了針對真實專案提交的修改；後續實驗則顯示，在攻擊前調整模型判斷後，目標搜尋有所減少。
留言 0