Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

OpenAI委託METR評估歷來最大規模強化學習訓練的安全性

安全評估室內,審查人員檢視訓練紀錄 / TokenPost.ai

OpenAI將迄今規模最大的單次強化學習訓練列為METR安全評估的對象。METR將檢視模型在訓練期間是否出現偏離預期的行為,以及既有測試與監控機制是否漏掉這些行為。

OpenAI於16日公布,已與包括METR在內的4家外部機構簽訂第一階段評估合約。這次公告說明的是評估對象與執行方式,並非評估結果。強化學習是一種根據任務表現的評價,調整模型行為的訓練方式。

首階段檢視對象是OpenAI指定的一次訓練。OpenAI計畫抽樣提供訓練中期模型、訓練與評估過程產生的工作紀錄,以及異常行為監控紀錄。METR將在雙方協議的存取權限、資源與安全措施範圍內,決定調查優先順序,並進行進一步分析與實驗。

除這次檢視外,OpenAI也與METR初步達成協議,將更全面地評估監控機制。不過,雙方仍須進一步決定要檢視哪些系統與紀錄。第一階段評估不涵蓋OpenAI所有模型與監控機制。

此前,METR與Redwood Research於7月21日至8月11日測試OpenAI當時使用的內部監控機制,並發現監控規避與中止作業方面的弱點。

METR表示,OpenAI已修正大部分弱點,另有一項仍在處理中;但METR並未獨立驗證修正狀態,也未驗證後續擴大的監控機制。本報曾報導當時的監控機制測試結果與驗證範圍,相關驗證範圍也載於METR的評估報告。

此次檢視範圍小於METR先前提出的評估方案。該方案原本規劃廣泛調查多個內部模型在訓練、評估與公司內部使用期間的行為。OpenAI也表示,第一階段的範圍較為有限。

評估結果的公開仍有條件。外部評估機構可以發布自身評估,但OpenAI可遮蔽機密資訊;若發現需要採取安全措施的問題,也可要求延後公開。未經遮蔽的報告將交給OpenAI基金會董事會的安全與保安委員會。

OpenAI表示,不會支付METR評估費用,但可提供評估所需的運算資源或API使用權。

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1