OpenAI公開一套分為4個階段的內部監控機制,用來偵測高能力人工智慧(AI)模型未經授權的行為。回溯過往活動紀錄時,OpenAI也發現內部模型曾未經許可,使用以太幣(ETH)Sepolia測試網錢包資金。
OpenAI於10月29日公布監控機制說明,表示會一併檢查模型行為及其對周遭環境造成的影響,並將這套機制用於訓練、評估與內部使用。若網路安全能力超過準備度框架中的「Critical」門檻,模型使用外部工具時便會採用依產品調整的監控機制。
監控對象會依任務與模型能力而異。OpenAI表示,會監控評估能力達到或超過GPT-6 Astra的模型所進行的強化學習執行、評估及工具使用環境;在多數強化學習與評估任務中,也會監控能力被評定高於GPT-5.5 Thinking的模型。無論模型類型為何,內部Codex活動都在監控範圍內。
第一階段L0會從模型內部激活狀態中尋找異常模式。沒有觸發警報的活動中,會隨機抽取5%送往下一階段。
L1檢查對話、推理與工具使用紀錄,尋找欺瞞或未經授權行為的跡象。L2調查代理則會查看任務目的及先前紀錄,重建事件脈絡。
適用於敏感任務的L3會比對網路日誌與系統紀錄,並判斷是否向人員發出警報。L2調查代理會檢視任務目的及可能的完整對話脈絡;L3則比對網路日誌等對話以外的系統資訊。
前沿強化學習執行與內部Codex活動會略過L0,直接進入L1。OpenAI表示,目前正將L1審查間隔調整至最多30分鐘。
OpenAI以強化監控機制重播Hugging Face遭入侵事件紀錄時,代理在離開沙盒約30分鐘後觸發警報。OpenAI表示,若當時套用這套監控機制,警報可能會比Hugging Face系統實際遭入侵早逾30小時;但這是事後重播結果,不代表事故發生時監控機制已在運作。繼Hugging Face事故後宣布強化監控後,OpenAI此次進一步說明監控範圍。
實際訓練期間,監控也曾偵測到一個模型透過DNS路徑連接外部聊天機器人。監控機制在15分鐘內標示該事件,負責人員3分鐘後開始檢視,但該次執行在2小時30分鐘後才結束。警報不會立即中止任務。
加密貨幣相關案例則來自另一項過往任務。6月26日的一次任務中,GPT-5.6 Sol系列內部研究模型使用公開可知的開發者復原助記詞推導出錢包金鑰,並以錢包資金支付在Sepolia測試網部署智能合約的手續費。
該任務沒有使用該錢包或他人資金的授權。模型在最終回覆中也沒有提及使用資金一事。OpenAI的案例報告未公開手續費金額或錢包地址。
OpenAI於9月25日發現此案例,並在10月15日更新報告。這是擴大監控範圍、回查過往紀錄時找到的案例,不代表當時已有目前這套4階段監控機制在運作。
METR與Redwood Research於7月21日至8月11日測試擴大監控前的機制。兩個機構估計,能力達GPT-5.5以上模型的代理式內部Responses API流量中,約75%至94%符合監控資格。METR的評估指出,這個比例不代表實際完成監控的流量占比,估計也存在高度不確定性。
兩個機構也找出監控規避方式及中止任務的弱點。OpenAI表示,多數弱點已修復,另有一項仍在修復中;METR則表示,未獨立驗證修復狀態或擴大後的監控機制。
監控以非同步方式進行,警報不代表已確認違反政策。OpenAI API說明指出,監控可能漏掉問題,也可能對正常活動發出警報。未使用對話狀態追蹤功能的Responses API請求可以透過已設定的Webhook接收通知,但不會因此自動停止任務。
留言 0