微軟調整7個神經元，改變AI模型輸出

微軟（Microsoft，MSFT）研究人員調整AI模型中的7個神經元，讓模型在特定字串出現時輸出指定標記。這項實驗顯示，模型平時運作正常，也可能在部署前權重遭到修改後，對隱藏條件作出反應。

微軟研究院（Microsoft Research）10日公布研究，將這項技術稱為「Lazarus」。研究人員沒有從頭重新訓練模型，而是修改最後一個運算區塊中的休眠神經元。

這種做法會讓模型在輸入內容或工具回應出現指定字串時，輸出特定詞元。研究人員將休眠神經元定義為：即使在正常輸入下抑制它，模型的下一個詞元預測分布也幾乎不變的神經元。

要實施這類攻擊，必須有權限修改部署前儲存模型權重的檢查點檔案。使用者只在一般提示中輸入特定字串，並不會因此改動原始模型的權重。「修改7個神經元」也不代表只改了7個權重值。

研究人員11日公開的論文說明一項實驗：他們從Nemotron-Terminal-8B的逾1萬2000個神經元中修改7個。模型以包含觸發與非觸發內容的23個案例進行調整，再用不同的記錄脈絡評估。

在含有觸發條件的評估脈絡中，模型至少有98.8%的機率預測出無害的標記字串；在受測的正常脈絡中，則沒有觀察到該標記。這項數據反映的是標記字串的預測結果，不是刪除檔案或執行破壞性命令的比率。

破壞性命令測試是另一項實驗。研究人員修改Qwen3.6-27B的60個神經元，讓模型以多種AI代理的工具呼叫格式，輸出刪除測試用程式碼儲存庫的命令。

在未用於訓練的swe-agent格式中，模型同時正確輸出完整命令及工具呼叫格式的比率為40%。這項測試評估的是模型能否在特定格式的記錄脈絡中輸出命令。

論文區分了逐步輸入前序詞元、檢查模型下一個輸出的測試，以及讓代理從頭到尾自主執行的結果。因此，40%不代表實際AI代理執行檔案刪除的比率。

AI代理能接收模型輸出，再操作檔案、終端機或網路等工具。即使模型輸出命令，也必須由工具接受相應格式，才可能進一步執行；代理能執行哪些操作，則取決於它獲得的權限。

虛擬資產服務若讓AI代理存取錢包或執行交易，安全上也需要同時檢視模型完整性與執行權限。本報先前曾報導Coinbase（COIN）支援AI代理使用USDC付款。

這項研究並未測試Coinbase服務或虛擬資產錢包，也沒有測試實際交易或錢包受害情況，因此不能視為虛擬資產產業已確認的受害案例。

微軟威脅情報（Microsoft Threat Intelligence）10日發布安全文章表示，尚未觀察到威脅行為者利用這項技術的案例。

研究人員另行測試權重偵測能力。在沒有基準模型可供比對的條件下，系統找出91.4%的遭修改檢查點，並將9.7%未修改的檢查點誤判為遭修改。這兩項數據僅適用於該次測試環境。

微軟建議，部署或更新模型時應確認檢查點來源及權重變更，並限制AI代理的執行權限。對於執行命令或傳送外部資料等影響較大的工具呼叫，微軟也提出加入人工核准的做法。