OpenAI與4家獨立評估機構簽約,將檢視AI模型的對齊情況與安全防護措施。各機構依合約範圍查閱內部模型與系統。
OpenAI於11月16日表示,已與Apollo Research、METR、Transluce及Goodfire簽訂第一階段評估合約。各機構可在評估所需範圍內存取模型檢查點、原始碼、訓練與評估資料、監控系統及技術文件。
「AI對齊」指讓AI依照人類意圖與價值行事。這不只涉及提升模型效能,也包括檢查模型在訓練過程及實際運作時,是否出現偏離預期的行為。
微軟(Microsoft,MSFT)執行長薩提亞·納德拉(Satya Nadella)在10月26日公開的20VC訪談中表示,他過去認為模型規模擴大後,對齊問題會自然解決,但現在看來「這可能是更困難且獨立的問題」。
納德拉在18日凌晨舉行的微軟Ignite主題演講中也表示,即使擴展定律持續適用,人們對模型對齊及其運作原理仍缺乏充分理解。他強調,設計上應將智慧的供應與對智慧的控制權分開。相關內容載於微軟官方逐字稿。
OpenAI執行長薩姆·奧特曼(Sam Altman)9月23日在聯合國安全理事會發言時表示:「AI能力愈強,人類愈應留在決策核心。」OpenAI公布的講稿主張,不應把人類判斷與控制權交給AI系統。
奧特曼也表示,重大決策不應只由企業研究機構作出,而需要對政府負責的民主程序。他並提出建立國內外共同標準,以評估AI能力、風險與安全防護措施,同時維持人類監督。
AI Evaluator Forum要求評估者具備獨立性與充分存取權的公開信,曾由本報報導。當時OpenAI尚未公布合作評估機構及其存取範圍;此次公告則揭露了首批簽約機構與評估範圍。
AI Evaluator Forum於9月18日發布公開信,要求保障評估者的編輯權與財務獨立、讓多家機構參與、防止報復,並提供充分的內部存取權。公開信獲200多人簽署。信中也主張,評估者應能公開結果與依據;若涉及敏感資訊,則可設置有期限的刪除程序。
各機構負責的評估項目不同。Apollo Research將檢視模型是否可能隱瞞違背開發者意圖的行為,以及安全防護措施能否偵測這類行為。METR則會評估OpenAI規模最大的強化學習訓練過程,檢查既有測試與監控是否漏掉對齊問題。
Transluce將檢查模型訓練後的對齊評估品質與範圍。Goodfire則會安排可解釋性研究人員分析模型內部,並參與訓練過程監控、除錯及對齊評估。
各項評估的存取範圍與資源會事先議定。如果直接接觸敏感模型權重或架構可能造成智慧財產權外洩,OpenAI可考慮安排評估機構與OpenAI研究人員共同分析。
處理機密資料的評估者須在OpenAI辦公室使用公司設備,實驗也須遵循與OpenAI員工相同的安全標準。OpenAI表示,基金會董事會的獨立監督委員會將檢視整個評估流程與結果,並會收到未經修改的報告。
評估機構的報酬安排也已公開。Apollo Research與Goodfire會獲得金錢報酬,但報酬不與評估結果掛鉤;METR與Transluce則不會獲得金錢報酬,但可能取得用於評估的API額度或運算資源。
OpenAI表示,評估機構可以獨立發布結果;不過,OpenAI保留刪除機密資訊的權利,也可在需要時間處理安全或保安風險時要求延後發布。OpenAI與Transluce表示,計畫於2027年初進行約8週的後續評估,檢視其他模型的存取安排,以及評估結果如何納入模型發布決策。
Comment 0