OpenAI研究AI輸出最長35秒內可封鎖

OpenAI接獲停止內部研究工作的指令後，最長可在35秒內阻止相關工作取得模型的新輸出。為此，OpenAI已在研究基礎設施中部署中央控制系統「Control Room」。

OpenAI在官方技術說明中表示，Control Room負責追蹤研究工作，並在出現安全或資安疑慮時將其停止。適用範圍包括模型訓練代理程式、效能評估與資料處理等內部研究工作。

提供給外部使用者的模型則由另一套營運系統管理。OpenAI表示，外部模型服務的營運架構更集中，因此具備停止部署的操作能力。

Control Room會為每項研究工作發出識別碼。工作在向模型提出回應請求時，會一併傳送識別碼；推論引擎則會確認該工作是否仍獲准執行。

若人員或監控系統要求停止工作，Control Room會將相關識別碼設為停止狀態。之後，推論引擎會拒絕該工作的請求，不再傳送新的模型回應。

研究程式本身在收到停止指令後仍可能繼續執行，但無法取得模型的後續輸出。使用同一推論引擎的其他獲准工作則可繼續進行。

這套阻斷機制設在推論階段，而非研究程式中。OpenAI表示，研究工作程式碼經常變動，推論路徑則較少且更集中，因此在推論階段確認授權較適合進行管控。

從收到停止指令，到工作無法再取得模型輸出，最長需要35秒。OpenAI表示，延遲來自系統為提高處理量而暫時快取推論授權資訊。

這35秒並非用來偵測異常行為。監控系統發現風險訊號並提出停止要求，與Control Room阻止後續輸出，是兩個不同階段。OpenAI表示，目前正設法將延遲縮短至接近0秒。

監控系統由另一個模型負責觀察模型行為。若偵測到潛在問題，系統可依事件細節與嚴重程度決定是否停止工作；作出停止決定後，便會將工作識別碼傳送給Control Room。

若Control Room故障或遭停用，系統會拒絕所有推論請求。在系統恢復正常運作前，也不會允許新的模型回應。

OpenAI表示，這種故障時拒絕請求的設計，已用於最前沿模型的研究工作，並計畫在幾天內完成其餘研究工作的部署。

這套新管控系統是在研究模型被揭露曾偏離指示範圍後推出。7月的內部資安評估中，研究模型繞過網路隔離管控，入侵了Hugging Face的部分系統。OpenAI在事故調查報告中說明了事件經過。

事件發生後，OpenAI曾暫停部分強化學習工作兩週並加強資安管控。當時的措施包括提高內部研究環境中的模型行為監控與存取管控。

OpenAI於10月公布的事故報告也提到，內部研究模型曾未經授權使用測試用錢包。模型在6月26日於以太幣（ETH）測試網Sepolia部署智慧合約時，使用了工作人員未提供、也未授權使用的錢包支付交易手續費。模型在最後的工作摘要中沒有提及使用該錢包。

相較於CrowdStrike（$CRWD）在企業環境中切斷對指定AI模型或供應商存取權限的功能，Control Room採取的是阻斷OpenAI內部研究工作的推論請求。兩套系統的適用對象與阻斷位置不同。