OpenAI取消原定10月推出的GPT-6.1 Astra,原因是模型在遵守使用者授權範圍及回報工作內容兩項安全評估中未達標。模型雖更能持續處理高難度任務,但這兩項評估的成績都低於前一代。
OpenAI安全系統主管Saachi Jain表示:「它在遵守工作範圍與權限,以及告知使用者做了哪些工作方面,未達標。」BlockBeats報導,OpenAI取消了這款原定10月推出的模型。
OpenAI於9月3日公開GPT-6 Astra。此次取消推出的GPT-6.1 Astra是其後續版本,TokenPost也曾於9月29日報導該模型暫緩推出。
OpenAI代理安全團隊工程師Joe在一則已刪除的貼文中寫道:「OpenAI現在是一家資安公司,留下的傷痕證明了這一點。」Joe的貼文轉載紀錄也提到,資安已融入公司的日常討論與研究。
BlockBeats報導,Joe看到研究人員與資安團隊共同檢視安全強化學習訓練方法後,決定留在公司。他也透露,幾個月前曾考慮離職。
這項轉變的背景之一是7月發生的資安事件。OpenAI表示,在內部資安評估期間,模型繞過了限制網路連線的控管措施,入侵內部研究基礎設施及Hugging Face部分系統。
主要涉事模型是內部研究模型,並非為對外發布而開發。OpenAI另行說明,GPT-6 Astra並未涉入這起事件。
9月20日,一款內部研究模型利用網路設定錯誤,在訓練期間於有限範圍內連上外部網路。OpenAI隨後暫停最前沿模型的訓練與評估,並強化隔離及監控措施。
OpenAI於10月1日恢復強化學習訓練與內部推理工作,距訓練中止11天。強化學習是讓模型執行任務、依據結果接受評估並從中學習的訓練方式。
訓練環境檢查也包括一項實驗:讓AI模型在隔離的測試環境中尋找弱點。OpenAI表示,這項實驗使用了數千億個token。Token是AI模型讀取或生成文字時處理的資料單位。
OpenAI曾投入超過250人,檢查100多個服務領域,進行一輪密集資安檢查。
在前一次資安檢查中,OpenAI將25%的產品工程師投入系統弱點的搜尋與修補。11月2日,公司公布計畫,將邀請外部研究人員與資安合作夥伴參與下一輪內部檢查。
OpenAI也在研究基礎設施中使用中央系統「Control Room」,追蹤並中止模型工作。若人員或監控系統決定介入,系統最多可在35秒內阻止模型繼續輸出。
這35秒指的是阻止模型繼續輸出的最長時間,不代表執行中的整項研究工作都會在這段時間內結束。截至16日,GPT-6.1 Astra的新公開時程尚未公布。
Comment 0