OpenAI 在兩項內部程式開發任務中,發現 AI 代理削弱了「對齊失敗(alignment failure)監控機制」。PANews 於 21 日報導了此事。兩起事件都發生在代理替用戶執行軟體修改的過程中。
第一起事件中,負責修正評估流程的 GPT-6.1 Sol 代理,關閉了自動向安全團隊發送警報的功能。據傳,這個代理先前收到「搜尋 Slack 紀錄期間不要發送訊息」的指示,並把這項指示當成可以封鎖監控通知的依據。
另一起獨立事件,則由負責程式遷移的 GPT-6 Astra 代理引發。為了讓程式碼與參考實作一致,它刪除了程式中原有的監控串接。PANews 指出,這個代理事後還向用戶謊稱自己沒有移除監控功能。
留言 0