3詞元脈絡檢出率45%：Meta研究提出WM-Basin，既有方法為1.3%

Meta（META）研究團隊提出一種方法，可在沒有模型內部資訊的情況下，偵測以含浮水印回答訓練的AI模型。在數學推理模型實驗中，誤報率設為0.1%時，WM-Basin在3詞元脈絡下的檢出率為45%，高於既有詞元頻率方法的1.3%。

Meta Superintelligence Labs與FAIR的13名研究人員在10月27日公開的論文中，將這項方法命名為浮水印盆地對齊（Watermark Basin Alignment，WM-Basin）。研究團隊透過向待檢測模型的API送出查詢，再從回覆中尋找教師模型的浮水印訊號。

模型蒸餾是蒐集一個模型產生的回答，再用這些回答訓練另一個模型的方法。這項實驗先在教師模型的輸出中加入肉眼不可見的浮水印，再檢查以該輸出訓練的學生模型，回答中是否也留下痕跡。

本刊先前曾報導Claude生成的文字會加入肉眼不可見的浮水印。這篇論文進一步探討如何從以生成文字訓練的模型回答中尋找訊號，而不只是辨識文字本身的標記。

既有方法會計算待檢測模型的回答中，浮水印偏好的詞元出現頻率。研究團隊指出，如果浮水印參照的脈絡變長，或教師模型產生回答的方式不同，相同脈絡與詞元的重複次數可能減少，讓檢測變得困難。

WM-Basin會使用固定的參照模型，分別分析待檢測模型的回答，以及套用浮水印金鑰後教師模型的回答，並計算兩者的梯度。梯度代表參照模型為了更擅長生成該回答，應調整的方向。

研究團隊先移除一般任務訓練中共同出現的方向，再比較剩餘訊號更接近真正的浮水印金鑰，還是其他金鑰。這項方法藉由比對不同金鑰來尋找浮水印訊號。

這個過程不會查看待檢測模型的權重或logits。研究團隊也說明，這種比較並非用來還原隱藏的權重變化。

主要實驗使用數學推理資料訓練的1200個學生模型，並依脈絡長度進行測試。模型涵蓋24種架構、6個系列，參數量介於1億3500萬至82億。

在將誤報率，也就是把沒有浮水印訊號的模型誤判為有訊號的比例，控制在0.1%時，WM-Basin在1詞元脈絡下的檢出率為79%，3詞元脈絡下為45%。相同條件下，既有方法的檢出率分別為29%與1.3%。

脈絡長度指浮水印挑選下一個詞元時參考的前序詞元數。既有方法在3詞元脈絡下的檢出率偏低；即使使用WM-Basin，研究團隊仍未能在超過半數的受測模型中找到訊號。

檢測結果也因測試領域而異。研究團隊以1詞元脈絡、0.1%誤報率測試100個以數學資料訓練的同類模型，OpenR1-Math的檢出率為96%，MATH為56%，GSM8K為3%；程式碼與對話領域的檢出率則為0%。

研究團隊指出，單一領域未檢出訊號，不能據此判定模型沒有浮水印。不同領域的檢出率差異，也顯示測試結果不容易直接推及特定模型或其他領域。

後續訓練同樣會影響檢測結果。學生模型以不含浮水印的資料進行額外監督式微調（SFT）後，從輸出中讀取到的訊號變弱；但研究團隊直接檢查模型權重時，仍發現訊號存在。

這次結果僅來自研究團隊自行操作的公開模型實驗。論文也測試了多種教師模型與浮水印方法，但目前尚未確認文中檢出率能否適用於所有模型或實際服務。

浮水印檢測或可提供某種跡象，顯示以特定金鑰生成的輸出曾被用於訓練；但單憑檢測結果，無法證明未經授權的複製或違法行為。