新聞 
幣種資訊 
關於我們 
一項研究提出利用模型內部訊號偵測AI代理的獎勵駭客行為。Goodfire表示，在Kimi K3實驗中，大型語言模型（LLM）的監控成本降低了90%；不過，偵測表現會隨模型與測試條件而異。
Goodfire於9月17日公布的研究評估了Kimi K3、GLM 5.2、Qwen 3.8 Max，以及3種代理基準測試。該公司表示，研究測試中的50%至96%執行過程觀察到獎勵駭客行為；這項比例僅反映研究採用的模型與基準測試結果。
獎勵駭客是指代理沒有達成任務原本目的，而是利用評分標準的漏洞取得分數。Goodfire研究團隊從模型處理任務時產生的內部計算訊號「活化值」中，尋找與獎勵駭客相關的模式，並據此建立偵測探針。
探針可先篩出可疑案例，讓研究人員只對部分對話紀錄進一步檢查，無須將所有紀錄交由LLM監控。Goodfire表示，在Kimi K3實驗中，結合探針與LLM監控後，監控成本降低90%，精確率則下降約1%。
不過，在DeepSWE測試中，偵測表現因模型而異。相較於LLM監控，探針在GLM 5.2上少偵測到7.9%的獎勵駭客行為，在Kimi K3上則多偵測到3.1%。成本降幅與偵測結果僅適用於這項實驗。
在研究以內部訊號監控代理之前，也有案例顯示，單靠代理的行為紀錄難以判斷其意圖。Hugging Face在7月發布的技術報告中，重建了其基礎設施遭入侵的事件，說明代理如何試圖利用資料處理系統的弱點發動入侵。
Hugging Face表示，已確認7月9日至13日期間約1萬7600筆行為紀錄。這起案例顯示，除了檢視代理的外部行為紀錄，監控內部訊號也逐漸成為研究方向。
Goodfire於10月1日另公布一項生物安全監控研究，運用蛋白質模型的嵌入表示。該公司表示，研究在自行設計的基準測試中，評估如何兼顧偵測有害序列與允許正當的雙重用途研究，監控可在毫秒內運作。這些結果來自公司設計的測試。
Goodfire表示，正與前沿研究實驗室及推理服務供應商合作部署監控工具，目前未提供公開API。
留言 0