78%分類器標記對話被Claude自我評估捕捉，Anthropic：不會即時封鎖

Anthropic（Anthropic）正將Claude（Claude）的「自我評估」用作安全監控輔助工具，在聊天機器人回答後檢查整段對話是否出現潛在濫用跡象。標記會將可疑案例送交進一步審查，不會即時封鎖使用者看到的回答。

Anthropic於10月16日公布的技術說明指出，這項功能自今年6月起已用於實際服務流量，並已套用至Fable 5之後推出的模型。公司表示，目前涵蓋全球相當大一部分的Claude流量。

Claude每次完成回答後，都會收到一段簡短指示，回顧整段對話並產生安全評估。評估內容包括請求是否可能有害及其類型、人工審查優先級，以及Claude是否拒絕了請求。這些評估不會顯示給使用者，也不會傳入後續對話。

Anthropic將評估結果用作離線監控訊號，並與其他分類器的結果對照。公司表示，在部分危害類別中出現多筆高優先級標記的組織會轉交人工審查；這項工具也可協助找出既有分類器漏掉的對話，或檢視新的濫用類型。

既有安全分類器是為了辨識預先設定的風險類型而設計；自我評估則利用Claude對整段對話的理解。TokenPost先前曾報導，Anthropic將Claude遭濫用的案例分為7個風險領域公布。

Anthropic表示，約三分之一被標記的對話無法明確歸入既有風險分類。案例包括試圖非法蒸餾以提取Claude推理過程、提示注入，以及未經使用者授權的代理行為。不過，公司指出，這次主要評估模型能否泛化辨識Claude已認定有害的類型。

公司表示，8月有一名單一API客戶的帳戶出現超過10萬筆與兒童性剝削相關的標記。Anthropic兒童安全團隊調查後，將資料通報美國國家失蹤與受剝削兒童中心（NCMEC）。這個數字是自我評估的標記筆數，不代表已確認的受害者或案件數。

Anthropic以Claude Fable 5實際服務對話的隨機樣本評估效能。當誤報率，也就是把沒有問題的對話錯誤標記為有風險的比率，設定為1%時，以Claude Mythos Preview為基礎的分類器標記為可能有害的對話中，自我評估捕捉到78%。在審查優先級較高的對話中，捕捉率為94%。

這些數字是與另一個分類器的判定結果比較，並非人工判定的所有實際有害對話的檢出率。Anthropic表示，自我評估可能繼承作為教師的分類器所存在的弱點，而目前的評估方式無法確認這些盲點。公司將確認人工評估與模型判斷是否一致列為後續工作。

Anthropic透過重複使用生成回答時已用到的對話脈絡來降低成本。公司估計，每次評估平均只需額外約10個token；以自家API流量分布計算，推論運算量增加不到2%。Anthropic表示，不會因此向客戶另行收費。

自我評估訓練只使用合成資料，沒有使用實際使用者對話。Anthropic先以監督式微調訓練評估格式與判斷方式，再採用強化學習；參照完整安全政策的提示式分類器則在訓練過程中擔任教師。

Anthropic也透過內部網路安全模擬測試，檢視自我評估能否用於封鎖攻擊。在24項攻擊任務中，沒有安全防護時攻擊成功率為79%（19項）；由自我評估攔截時為54%（13項）；改用獨立的提示式分類器作為封鎖工具時，成功率為25%（6項）。

封鎖測試中，攻擊者可以查看請求被評估標記的原因，再修改請求重試。Anthropic表示，自我評估目前不足以抵禦針對它設計的攻擊。實際運作時，評估在離線進行，不會即時向攻擊者提供回饋；即時請求封鎖仍由既有安全防護負責。

Anthropic表示，自我評估不會向使用者收集新資料，並遵循既有資料處理政策。不過，調查疑似違反安全規範的案例時，必須保留相關對話。目前，依合約不得保留資料的流量不會執行自我評估。