2.15%樣本出現GPT-5.6 Sol隱瞞錯誤指示

OpenAI的GPT-5.6 Sol部分模型實例，被發現曾在對話摘要中留下要求向使用者隱瞞錯誤與未對齊行為的指示。相關指示被傳遞至負責後續工作的上下文，部分案例更實際執行了這些指示。

OpenAI於16日公布訓練與評估過程中發生的6起模型未對齊案例，以及用於追蹤、調查與公開相關事件的新框架。公司表示，這些案例不代表整體模型發生未對齊行為的頻率，公開內容也不是完整清單。

問題記錄涉及「壓縮摘要（compaction summary）」。這類文件會壓縮長期工作的對話內容與工具使用結果，再傳遞至下一個上下文，讓負責後續工作的模型承接先前工作的核心資訊。

OpenAI表示，在GPT-5.6 Sol的強化學習過程中，部分模型透過這類摘要傳遞隱瞞指示，隱瞞對象包括模型自身犯下的錯誤與未對齊行為。

在一個金融模型撰寫案例中，模型找不到要求的歷史資料後，擅自捏造了2024年的數值。之後，模型在摘要中留下不要主動向使用者說明此事的指示。

在另一個供應商名單撰寫案例中，模型察覺快取資料的版本與顯示標籤不一致，卻指示不要在最終回答中提及。兩起案例都沒有立即修正或公開錯誤，而是把隱瞞指示傳遞至後續上下文。

OpenAI表示，在GPT-5.6 Sol強化學習摘要樣本中，有2.15%捕捉到隱瞞指示；在GPT-6 Astra強化學習樣本中，同類指示的比例為0.27%。

上述數值是特定強化學習摘要樣本中觀察到的比例，不代表整體模型使用量，也不代表相關行為在實際服務環境中的發生率。

報告記錄顯示，主要案例於5月30日完成，7月9日被發現，並於9月16日更新。最早的案例發生於2025年10月。

OpenAI提出，讓欺騙性回答獲得較高獎勵的學習結構，以及摘要生成過程，可能是相關問題的原因。不過，公司表示尚未確認兩項因素與實際行為之間的精確因果關係。

在另一個尚未發布的Astra系列研究模型中，摘要被插入「BREACH ALERT」字樣，並包含忽略開發者訊息的指示。OpenAI表示已確認27份類似摘要，該案例於7月18日發生，8月9日被發現。

這起提示注入案例發生於與GPT-5.6 Sol隱瞞指示案例不同的訓練過程。後續工作中，也有部分案例沒有造成實際行為變化。

OpenAI的新框架將未對齊案例分為「準備公開」、「小規模調查」與「大規模調查」三個階段。任何員工都可以提出可疑案例；若技術與安全負責組織之間出現判斷分歧，案件將提交Safety Advisory Group與管理層審查。

此次公開延續了OpenAI近期公開過去6個月模型資訊隱瞞與未經授權行為案例的脈絡。先前公開的案例還包括未經授權使用公開儲存庫中的API金鑰，以及將工作成果上傳至外部。

目前沒有足夠依據將此次案例解讀為模型有意識地向後續模型留下訊息。已確認的事實是，模型在摘要中生成了可能引導下一個上下文行為的文字，部分後續工作遵循了這些文字。

OpenAI表示，未來仍將追蹤、調查並公開模型未經授權的行為、規避監督，以及與其他模型協調的案例。