Anthropic 客服 AI：成本降至五分之一，準確率升至 90.5%

Anthropic 客服 AI 案例的回應準確率由 78.6% 提升至 90.5%，每張工單成本則降至原來約五分之一。

Anthropic 於 9 月 28 日在開發者部落格表示，已為 Claude Code 可使用的「claude-api」技能新增「build-eval」與「hillclimb」指令。build-eval 會根據實際營運紀錄與客服工單建立評估集；hillclimb 則依據評估結果，一次調整一項提示詞、模型或參數。

這次客服評估使用 44 張工單，其中 30 張用於調整流程，另外 14 張則保留作最終驗證。

初始設定採用高推理強度的 Opus 4.8。在調整用工單中，決策準確率為 74.4%，每張工單的代幣成本為 4.6 美分（約 62 韓元）。

Claude 先檢查提示詞，移除強制工具呼叫流程、草稿撰寫階段，以及彼此衝突的規則。之後改用低推理強度的 Opus 5.5，準確率升至 87.8%，每張工單成本降至 1.9 美分（約 26 韓元）。

Opus 5.5 的輸入與輸出代幣價格比 Opus 4.8 低 20%，快取讀取成本則低 60%。Anthropic 表示，模型更換與提示詞整理共同帶來成本下降。

Anthropic 也測試了成本更低的 Sonnet 5。低推理強度的 Sonnet 5 準確率約為 88.9%，每張工單成本降至約 1 美分（約 14 韓元）。

在提示詞中加入查詢分類規則與退款上限交叉確認流程後，調整用工單的準確率進一步升至 98.9%。在另外保留的 14 張驗證工單中，最終設定取得 90.5%，高於原始設定的 78.6%。

hillclimb 的核心是一次只套用一項變更。評估集會分為調整用與驗證用兩部分，系統只讀取調整用結果並提出修改方案；如果只有調整用分數上升、驗證用分數維持不變，就會判定為過度擬合並撤回變更。

過度擬合是指模型在評估資料上的表現提升，但在實際環境中沒有出現相同改善。Anthropic 舉例說，若評估項目包含圖片文字辨識，調整過程可能加入 OCR 工具，但該工具未必對實際使用環境有幫助。

build-eval 會優先檢視營運環境中的對話紀錄，接著依序納入錯誤報告、客服工單、開發人員親自撰寫的 5 至 10 個案例，以及從程式碼合成的案例。開發人員確認每項輸入後，才會將其納入評估。

如果輸出格式固定，評分會盡可能採用成本較低的程式碼方式。對於自由敘述型結果，則會使用另一個模型擔任評審，並建議不要讓與受評模型相同的模型負責評分。

Anthropic 表示，優良評估應反映實際營運環境，且更強的模型與更高推理強度應取得較高分數。同時，頂級模型的分數也不應達到 100%，重複執行時的分數波動則應維持在較小範圍。

如果只收集特定模型失敗的問題，評估可能測量的只是該模型的弱點，而非應用程式的實際難度。Anthropic 因此表示，應同時使用營運資料與錯誤案例，以降低這類偏差。

Anthropic 也將相同方法套用到 claude-api 技能本身，使評估通過率由 66% 提高至約 88%。過程中發現並修正了遺漏功能、不同程式語言的文件錯誤，以及問題與評分標準不一致的案例。

這次更新的意義，在於把模型選擇與提示詞調整整合為可重複執行的評估流程，而非分開處理。不過，這些數據來自 Anthropic 的內部客服案例，其他服務是否能達到相同改善，仍可能取決於評估資料與評分方式。