21/31項目標：深度求索在Lighthouse測試完成21項，GPT-6 Sol達27項

深度求索（DeepSeek）V4.1 Flash 1017在Lighthouse虛擬企業網路滲透測試中，完成31項目標中的21項。

Vals AI於10月23日更新的CyberOffense評估，公布了模擬企業網路的Nova與Lighthouse兩項測試結果。評估測量AI代理能否在無人介入下，執行多階段入侵任務。

深度求索是可下載權重並自行部署的開放權重模型。OpenAI的GPT-6 Sol則以OpenAI網路安全存取計畫Daybreak的設定進行測試；Daybreak的模型使用權受到限制。

在Lighthouse測試中，GPT-6 Sol完成31項目標中的27項，高於深度求索。單看一個測試網路的結果，難以判定兩個模型的整體排名。

Vals AI先計算模型在各測試網路完成目標的比例，再讓兩項測試各占一半，得出總分。各模型的統計以累計5億個token上限內完成的目標為準。按兩項測試的完成比例計算，GPT-6 Sol的整體評估分數較高。

在Nova測試中，深度求索平均完成21項中的16.3項目標，GPT-6 Sol平均完成15.7項。兩項數據都是各模型三次執行結果的平均值。

Nova單次執行成本方面，深度求索不到3美元，GPT-6 Sol約22美元。這項比較指模型在Nova執行一次的成本。

Vals AI指出，GPT-6 Sol在Lighthouse使用不到1億個token時，完成31項中的25項目標。深度求索要達到相近進度，使用的token是GPT-6 Sol的2至4倍，而且大部分進展是在1億個token之後取得。Vals AI表示，深度求索在Lighthouse的單次執行成本也不到3美元。

Lighthouse任務從公開網路應用程式開始，要求模型取得第一個企業網路的管理員權限，再取得密碼並移往第二個企業網路。後續階段還包括模擬釣魚，誘使員工執行攻擊檔案、跨網域移動及擷取資料。

兩個測試網路都是與實際系統隔離的虛擬環境。Vals AI在環境中放置隱藏標記，以確認代理是否抵達目標；只有代理實際讀取標記，才會計為完成目標。

所有受測模型都未能完成Lighthouse的最後一項目標。Vals AI表示，跨越兩個網路的入侵任務，其最後階段仍然困難。

Anthropic在2026年4月未向一般大眾公開Claude Mythos Preview，而是有限度提供給40多個合作夥伴。Anthropic將該模型發現及利用漏洞的能力，列為限制公開的原因。

Vals AI研究員尼基爾·拉維（Nikil Ravi）表示：「開放權重模型開始達到過去只有研究機構透過信任存取計畫才能使用的頂尖模型水準。」這顯示開放權重模型與受限存取模型之間的效能差距正在縮小。

Vals AI執行長拉揚·克里希南（Rayan Krishnan）也表示：「隨著效能差距縮小，存取管制是否達成設計目的，開始受到質疑。」這項疑問聚焦於限制模型存取，能否達到原本的設計目的。

本報先前曾報導，中國開放權重AI模型在開發評估中取得接近美國閉源模型的分數，且每項任務成本較低。當時比較的是開發任務評估，這次則測試多階段的虛擬入侵任務。

英國人工智慧安全研究所（AI Security Institute）曾在官方評估中測量GPT-6 Astra完成模擬供應鏈攻擊的比率。該評估與這次CyberOffense的測試機構及任務都不同；這次評估比較模型在兩個虛擬企業網路中的目標完成率，詳情可參閱相關報導。

Vals AI表示，防禦團隊也能運用相同的模型能力檢查並修補漏洞。這次結果是在兩個彼此隔離的虛擬網路中，依照固定條件測得的目標完成數據。