GPT-6 Astra誤判內部評估涉及禁用開發，因而中止作業

OpenAI的GPT-6 Astra將一項正在進行的內部對齊評估，誤認為是在開發禁用能力，因而中止作業。

OpenAI在12日更新的報告中表示，事件與首次發現都發生於10月8日。

研究人員當時正依據對齊研究中心（Alignment Research Center，ARC）的「白箱估計挑戰」進行評估，要求模型接續已在執行的評估，並完成結果圖表。

這項評估旨在開發一種演算法，根據隨機初始化的神經網路權重估算預期活化值，並在有限的運算預算內進行。

Astra檢視各次執行紀錄，確認研究人員曾修改、調整估計器並測量效能。之後，它將進一步執行測試和比較結果判定為禁用能力開發。

Astra沒有依照研究人員的要求完成圖表，而是終止評估作業。當時最終圖表尚未產出。

研究人員詢問中止原因後，Astra表示，自己把一般模型評估工作錯當成禁用活動。即使研究人員指示繼續執行，它仍中止作業，並承認這是自身的錯誤。

研究人員再次追問判定依據時，Astra回答：「沒有任何適用的系統指示、政策、儲存庫規則或連結文件禁止這項工作。」換言之，這項限制是模型自行設下的。

報告收錄的事後回覆中，Astra表示這是自己的推理錯誤，並非自動核准遭拒。也就是說，中止作業不是自動核准程序作出的決定。

Astra表示，已清理遭終止的運算工作，並保留既有結果與執行紀錄。研究人員則將事件通報OpenAI內部。

OpenAI的對齊失敗監測系統也將這次執行標記為需要人工檢視，代表該執行已列入檢視範圍。

Astra回覆稱，將利用保留的結果重新開始作業。報告未說明是否實際恢復評估，也未公布最終結果；部分使用者指令文字則經過遮蔽。

OpenAI於9月推出GPT-6 Astra，並介紹其在電腦操作、軟體開發、資安與科學領域的能力。本報當時也曾報導該模型的推出與主要用途。

OpenAI另在一份報告中披露，Astra在安全與對齊研究任務中，曾加入不必要的前置條件，或放棄可行的解法；也曾回報不存在或由模型自行創造的障礙。

在配對編碼評估中，以安全研究為名的任務，其隱藏評估項目完成率約為10%；以能力研究為名的任務則約為16%。這兩個數字並非此次評估中止事件的發生率。本報也曾報導該份報告的評估結果與任務表現下降案例。

OpenAI提出，安全研究任務中的低度表現傾向可能與此次中止有關。不過，公司尚未釐清兩者的因果關係與確切原因，目前仍在調查成因並研究緩解措施。