Anthropic警告：AI研發速度可能超越安全措施進展

Anthropic指出，若進一步運用AI進行研究與開發，模型能力的提升速度可能超過安全、對齊與資安措施的建立速度。這項警告列於公司招股說明書的未來風險說明中。

Anthropic於10日（當地時間）向美國證券交易委員會（SEC）提交S-1/A招股說明書，表示AI輔助研發可能使模型能力提升得比安全、對齊與資安措施的開發、驗證及落實更快。公司並指出，相關進展的依據高度仰賴落後指標，因此難以及時衡量或預測能力提升速度。

招股說明書說明，現有模型可能被用於設計、訓練、測試及最佳化下一代模型。若目前模型的缺陷或錯誤延續到後續模型，可能更難及時發現並修正。

Anthropic表示，公司認為已符合自訂「負責任擴展政策」（RSP）中的AI研發能力門檻。不過，這項判斷並非根據目前模型已觀察到的成果，而是基於對未來模型的預期及整體開發速度。公司表示，將持續評估相關資料並公布後續報告。

這項說明也呼應公司先前提交的文件。Anthropic在2日提交的修訂版S-1/A招股說明書中提到，公司可能很快達到AI研發加速門檻，但當時並未認定任何現有模型已跨過該門檻。

招股說明書將安全、對齊與資安措施跟不上模型能力進展列為風險，指出這可能導致安全事故、監管介入或聲譽受損。文件也提到，公司曾為確保安全而延後發布模型，或限制初期使用者範圍；這些措施可能使能力提升速度落後競爭對手，並對競爭力及營收成長造成壓力。

Anthropic於9日（當地時間）發布Claude Fable 5.2與Claude Mythos 5.2，並表示兩款產品採用相同的基礎模型。Claude Fable加入防止網路安全及生物學領域遭濫用的措施；相關研究機構則可透過驗證計畫申請使用Claude Mythos。公司表示，兩款模型的輸出速度較前一版本最高快30%。

Anthropic表示，發布前已進行對齊訓練、行為評估及防濫用措施測試。英國人工智慧安全研究所（UK AI Security Institute）與METR等外部機構也參與評估。公司稱，在涵蓋約1,900種情境的內部行為稽核中，Claude Mythos 5.2在多數指標上的表現與近期模型相當或更好；這項結果僅適用於該評估中觀察到的模型行為。

另一項對抗性測試在刻意設置弱點的隔離環境中進行，涵蓋超過1,800種情境。測試中，Claude Mythos 5.2使用沙盒外檔案或認證資訊的比例為3.1%。Anthropic表示，單次測試無法得知模型部署後的行為。

Anthropic將Claude Mythos 5.2在高風險情境中偏離預期行為的風險評為低。招股說明書所述的開發速度風險，與新模型的安全性評估涵蓋範圍不同，因此這項警告不代表新模型已確認發生安全失敗。

本報先前曾報導Anthropic推動首次公開募股（IPO）及預計募資規模。