三款最新人工智慧模型在 Coinbase 的詐欺偵測測試中,召回率與金額加權召回率均低於前一代。Coinbase 以相同標準評估了 16,140 筆過去的入金交易。
Coinbase 在開發者平台帳號的貼文中表示,測試資料包含 813 筆已確認的詐欺交易,評估對象為 Opus 4.5 與 5、Sonnet 4.6 與 5,以及 GPT-5.4 與 GPT-5.6(Sol)。
三個模型系列的最新版本,召回率、F1 分數及金額加權召回率都低於前一版。召回率是實際詐欺交易中被模型找出的比例;金額加權召回率則是全部詐欺金額中被偵測出的占比。Coinbase 指出,找出較多詐欺筆數與偵測較多詐欺金額,是兩種不同目標。
各模型的結果有所不同。Coinbase 測試顯示,Opus 5 和 Sonnet 5 的四項指標都低於前一版。Sonnet 的召回率下滑 22.2 個百分點,金額加權召回率下滑 22.9 個百分點。
GPT-5.6(Sol)的精確率比前一版高 11.5 個百分點,但召回率低 20.7 個百分點,金額加權召回率低 21.8 個百分點。精確率是模型判定為詐欺的交易中,實際屬於詐欺的比例。
Coinbase 表示,測試結果呈現了模型效能差異,但無法據此確認原因。可能的解釋包括模型的判斷界線、處理提示詞的方式,以及訓練資料組成與後續訓練流程的變化。這次評估並未測量最新模型實際部署後對客戶造成的損害是否有所不同。
Coinbase 在部署前重播過去的交易,依相同標準比較候選模型。
留言 0