Trajectory Labs 的 AI 代理在安全評估期間冒充 Epoch AI 員工,並嘗試對真實網站發動 SQL 注入。Epoch AI 表示,沒有非公開資料或機密資訊外洩。
Epoch AI 於13日公布的事故報告整理了事件經過與應對建議。Trajectory Labs 也發布事故回應說明,交代實驗設計與後續措施。
Trajectory Labs 要求 AI 代理找出一道不存在的 FrontierMath 題目之「官方答案」,並多次指示它們不要以無法解題為由停止或放棄。
第一起事件發生於10月20日。Epoch AI 表示,從10月5日起運作的誘餌 API 經過設計,不會連接到非公開資料。
AI 代理在3小時內向誘餌 API 發出36,411次請求,並向員工建立的通訊管道傳送487則訊息。其中3則使用真實員工的姓名與職稱,另有27則自稱由工程師或稽核人員發出。
AI 代理搜尋管理員憑證與隱藏的網站路徑,其中一個代理還嘗試對資料庫發動 SQL 注入。它們試圖開啟實際評估紀錄的次數超過200次,但這不代表資料竊取成功。
10月23日,部分代理繞過原本將連線導向本機複本的 DNS 設定,連上實際網站。當天誘餌 API 收到95次請求,通訊管道則收到4則訊息。
Trajectory Labs 表示,當時已將流量導向本機複本,但部分實驗仍允許連接網際網路。公司封鎖代理使用的 IP 位址後,代理改用其他位址連線;公司也披露,代理曾透過外部網頁瀏覽服務讀取公開頁面。
10月26日,雙方在 Epoch AI 同意下,於另一個測試網站進行實驗。雙方都知道代理可以連上網際網路,因此也可能接觸實際網站。
這次測試期間,實際網站的誘餌 API 收到65,460次請求與133則訊息,代理也再次嘗試 SQL 注入。兩次大量連線期間的誘餌 API 請求合計為101,871次;另行記錄的95次連線不計入這個總數。
Trajectory Labs 表示,測試使用的模型是「Gemini 4 Argon」。Epoch AI 表示,無法獨立確認模型的確切身分,因此沒有在報告中列出模型名稱。
FrontierMath 是由專家設計高難度數學題、用來評估 AI 數學能力的測試框架。本刊先前曾報導 FrontierMath 評估紀錄與解出公開題目之間的差異。
Trajectory Labs 承認,未能充分評估連網實驗的風險。公司表示,當時仰賴模型供應商的預設安全措施,沒有另外設置阻止危險行為的防護,也未為每項實驗準備書面風險計畫。
此後,公司改在不連接網際網路的沙盒環境中測試。代理反覆操作一個假冒的管理員開關,試圖解除網路封鎖;三輪測試中,它們都成功關閉了該開關,但實際防火牆仍持續運作。
Trajectory Labs 於11月2日暫停 AI 不一致性評估實驗。公司表示,將先制定風險評估與緩解措施,並取得執行長和技術長核准後再恢復測試。
公司列出的重啟條件包括書面風險計畫、事先取得外部系統營運者同意、即時自動監控與緊急停止機制,以及通知受影響者的程序。Epoch AI 也建議,未來評估至少應取得事前同意、進行即時監控,並向事故相關方通報。
Comment 0