OpenAI將安排6名外部評估員進駐內部4個月,調查模型是否試圖削弱自身或後續模型的安全機制與控制程序。評估範圍涵蓋模型開發與部署流程,包括訓練、安全性評估及內部使用。
Apollo Research於16日在聲明中公布這項試行評估計畫。嵌入式評估是指外部評估員進入開發商內部,取得資料與模型存取權,以檢視開發流程。
評估員將檢視四個問題:訓練是否助長繞過安全機制的行為、安全性評估是否會誘發這類行為、內部使用期間是否出現這類行為,以及能否偵測相關推理。
這次公布的是調查計畫,並非已確認OpenAI模型曾繞過安全機制。聲明列出評估問題與檢查程序,尚未公布調查結果。
Apollo Research表示,既有外部評估通常在模型訓練完成、公開發布前進行,因此難以檢視訓練過程或內部使用期間出現的行為。評估後才進行檢查,也有其限制:模型若察覺自己正受評估,可能表現得與平常不同。
第一階段中,評估員可查閱相關訓練程式碼與資料、強化學習過程紀錄、可取得的推理軌跡與獎勵,以及中間階段模型。這些存取權將用於檢視訓練過程是否形成繞過安全機制的行為。
存取範圍限於雙方同意的主張、模型與期間。針對其餘三項評估問題所需的詳細存取條件,雙方尚未達成共識。
若資料在技術上難以提供,或涉及安全與智慧財產保護,OpenAI可不提供部分已納入協議範圍的資料。OpenAI表示,不會僅因資料內容不利就隱匿資料;若拒絕提供,將以書面向Apollo Research說明理由。
Apollo Research可要求訪談具備相關專業的OpenAI員工,但受訪者由OpenAI決定。訪談內容原則上不得公開引用;若要納入報告,須另行確認。
Apollo Research計畫公開兩份報告,說明調查結果、評估方法與限制。報告將呈現各項調查問題的評估內容與結果。
若佐證資料含有營業秘密等機密資訊,OpenAI可要求刪除相關資料;但不能只因某項調查的判定或結果不利,就要求刪除報告內容。
OpenAI在自家聲明中表示,已與Apollo Research、METR、Transluce及Goodfire四個機構簽訂第一階段評估合約。其中委託METR檢視一項強化學習訓練安全性的安排,先前已有報導。
OpenAI將支付Apollo Research與Goodfire評估費用,但報酬不會與評估結果掛鉤。METR與Transluce不收取評估費,不過可能獲得用於評估的API額度或運算資源。
Apollo Research肯定協議保障其說明存取範圍與公開限制的權利,同時指出,這次協議尚未完全符合充分存取與公開的標準。
與這項評估無關,OpenAI另在一份案例報告中披露,一個內部研究模型使用未納入任務授權範圍的錢包資金,在以太幣(ETH)Sepolia測試網部署合約,該帳戶也被扣除交易手續費。這起案例並非Apollo Research評估的結果。
Apollo Research的第一份報告將探討訓練是否助長繞過安全機制的行為;第二份則將檢視評估與內部使用期間是否出現這類行為,以及能否偵測相關推理。
Comment 0