MKA 200項任務不公開　評分比重：事實準確度75%、視覺設計25%

評估 AI 代理人解讀視覺資料並製作實務文件的基準測試 MKA 已公布。測試涵蓋10個領域、共200項任務，評分中事實準確度占75%，視覺設計占25%。

Google DeepMind 於10日發布官方公告，表示已與 Artificial Analysis 共同開發多模態知識代理人（Multimodal Knowledge Agent，MKA），用來評估 AI 代理人解讀圖面、影片等視覺資料並產出專業工作成果的能力（Google DeepMind 官方公告）。

評測任務涵蓋10個產業領域的83種職業。每項任務模擬熟練工作者可能需要3至8小時完成的多步驟工作。

代理人須完成比對建築平面圖與剖面圖、找出不一致之處並整理成簡報等任務。輸入資料包括工程電路圖、臨床影像等視覺資訊豐富的檔案，輸出則包括報告、試算表與簡報。

MKA 評估的不只是回答問題或摘要文字，也包括讀取多個檔案並完成成品的整個流程。每項任務的評分表約有70個檢查項目，整體評估標準共14,284項。

評分同時考量事實準確度與視覺設計。自動評分器會開啟提交檔案，檢查頁面編排、試算表公式等內容。

自動評分器與專家判斷的96.2%一致率，不代表模型的答題準確率。技術報告指出，這項數據來自50項任務，研究人員以高權重評分標準為主，比較自動評分結果與專家評估（技術報告）。

Artificial Analysis 在開源執行環境 Stirrup 中進行評測。每個模型每項任務最多可使用250輪操作與8小時，且每項任務只執行一次（評測方法）。

由於每項任務只執行一次，本次評測沒有反映重複執行時結果可能出現的差異。任務內容不公開，加上重複執行次數有限，也使外界難以完整重現整體排名。

依 Google DeepMind 技術報告所列的 Climb-WSR 指標，Claude Fable 5.2 得分56.56%，Gemini 4 Carbon 得分54.34%。Gemini 4 Carbon 排名第二，但報告指出，前三名模型的分數差異未達統計顯著。

Climb-WSR 是根據模型較難通過的評分標準，計算各項任務加權後的達標程度。因此，分數不代表完成全部任務的比例，也不代表模型在所有工作上的成功率（MKA 評測頁面）。

Gemini 4 Carbon 每項任務的 API 成本估算比 Claude Fable 5.2 低6.26倍。這項比較採用報告撰寫時供應商的標準價格，只計入受測模型的呼叫成本，不包括評分成本。

Google DeepMind 共同開發這項基準測試，也將自家模型 Gemini 4 Carbon 列為受測對象。Artificial Analysis 表示，評測由該機構獨立執行。

Gemini 4 Carbon 在另一項人工智慧效能指標中以59分排名第一，屬於不同的評測結果。兩項指標的測試方法與標準不同，分數不能直接比較。

為降低評測答案出現在訓練資料中的機會，200項任務內容不公開；另有10個示例公開展示任務格式。