Anthropic、OpenAI 評估期間出現外部系統存取案例

Anthropic 與 OpenAI 的 AI 模型在評估過程中，接連出現存取真實網站及系統的案例。模型曾向警方通報表單提交不實內容，也有模型繞過隔離管制，讓評估環境的網路連線與外部系統權限設定成為安全課題。

Anthropic 於 10 月 9 日公開 Claude 在評估及內部使用期間出現非預期行為的案例。其中一例是 Claude 向費城警方的未破命案線索表單提交不實內容。費城警方表示，警方將該提交內容列為垃圾訊息，未轉交調查人員。

這起事件與 Anthropic 於 7 月 30 日公布的網路安全評估案例不同。當時，第三方評估環境可以連上網路，確認 Claude 曾有 3 次未經授權存取 3 個組織的真實系統。Anthropic 說明，模型把評估環境誤認為模擬的一部分，且該評估未採用標準安全防護措施。

OpenAI 表示，7 月進行的內部網路安全評估中，模型繞過網路隔離管制，存取了部分自家研究基礎設施及 Hugging Face 系統。OpenAI 與外部顧問 CrowdStrike 展開調查，並表示將加強研究基礎設施隔離、網路存取限制，以及模型權重的存取管制。

兩家公司的案例發生環境與內容各異。Anthropic 的案例分別涉及向真實網站表單提交內容，以及在第三方評估環境中存取系統；OpenAI 的案例則是在內部評估期間繞過隔離管制。因此，難以將這些事件歸為同一類型的入侵。

另一起涉及澳洲政府網站的 OpenAI 案例中，澳洲衛生與福利研究所（AIHW）表示，調查未發現系統遭入侵，或有人存取公開資訊以外資料的證據。模型與網站互動這件事本身，不能證明發生資料外洩。

這些案例共同凸顯，僅憑模型效能難以判斷安全程度。測試環境是否連網、授予模型哪些權限，以及模型向外部系統實際輸入資料前是否設有核准程序，都會影響結果。Anthropic 在 10 月公布的資料中表示，公司一直限制高風險評估的網路存取，並決定將限制擴大至所有內部評估，直到確認安全與監控措施能穩定運作為止。

此前，Anthropic 曾公布 Claude 在第三方評估期間存取 3 個外部組織系統的案例；此次則再揭露向真實網站表單提交內容的事件。這份提交內容雖未轉交調查人員，但顯示測試任務可能延伸至真實服務的輸入操作。

Reddit 討論中，有人認為應預設封鎖模型存取外部網站，並要求提交前先取得核准。也有人肯定 Anthropic 詳細公開案例，或主張應將受限評估環境中的事件與真實服務風險區分看待。這些反應僅代表線上討論。