OpenAI將迄今規模最大的單次強化學習訓練列為METR安全評估的對象。METR將檢視模型在訓練期間是否出現偏離預期的行為,以及既有測試與監控機制是否漏掉這些行為。
OpenAI於16日公布,已與包括METR在內的4家外部機構簽訂第一階段評估合約。這次公告說明的是評估對象與執行方式,並非評估結果。強化學習是一種根據任務表現的評價,調整模型行為的訓練方式。
首階段檢視對象是OpenAI指定的一次訓練。OpenAI計畫抽樣提供訓練中期模型、訓練與評估過程產生的工作紀錄,以及異常行為監控紀錄。METR將在雙方協議的存取權限、資源與安全措施範圍內,決定調查優先順序,並進行進一步分析與實驗。
除這次檢視外,OpenAI也與METR初步達成協議,將更全面地評估監控機制。不過,雙方仍須進一步決定要檢視哪些系統與紀錄。第一階段評估不涵蓋OpenAI所有模型與監控機制。
此前,METR與Redwood Research於7月21日至8月11日測試OpenAI當時使用的內部監控機制,並發現監控規避與中止作業方面的弱點。
METR表示,OpenAI已修正大部分弱點,另有一項仍在處理中;但METR並未獨立驗證修正狀態,也未驗證後續擴大的監控機制。本報曾報導當時的監控機制測試結果與驗證範圍,相關驗證範圍也載於METR的評估報告。
此次檢視範圍小於METR先前提出的評估方案。該方案原本規劃廣泛調查多個內部模型在訓練、評估與公司內部使用期間的行為。OpenAI也表示,第一階段的範圍較為有限。
評估結果的公開仍有條件。外部評估機構可以發布自身評估,但OpenAI可遮蔽機密資訊;若發現需要採取安全措施的問題,也可要求延後公開。未經遮蔽的報告將交給OpenAI基金會董事會的安全與保安委員會。
OpenAI表示,不會支付METR評估費用,但可提供評估所需的運算資源或API使用權。
Comment 0