AI 指數 60% 評測未公開：Gemini 4 Carbon 比公開權重模型最高分多 27 分

AI 指數 v5 有 60% 的分數來自非公開測試集，或答案未公開的評測。Gemini 4 Carbon 得分 59 分，比權重已公開模型中的最高分 32 分高出 27 分。

Artificial Analysis 於 27 日公布「Intelligence Index v5」。新版指數將知識工作、程式設計、科學與一般領域各列為 25% 權重。

指數公布時，由 Anthropic 的 Claude Opus 5.5 以 58 分領先；OpenAI 的 GPT-6 Astra 得 57 分，GPT-6.1 Sol 得 55 分。Google（Alphabet，$GOOGL）的 Gemini 4 Carbon 於 28 日登上排名後，領先者隨之改變。本報先前曾報導Gemini 4 Carbon 發布與初期評測結果。

這項指數將九種評測結果依各自權重加總，換算成 0 至 100 分。四個領域雖各占相同比重，但納入的評測項目不同，模型需要完成的任務也不一樣。

v5 新增兩項評測，並調整三項既有評測。FrontierCode 2.0 評估模型處理公開軟體儲存庫中程式設計任務的能力；Terminal-Bench-Science 則設計為讓模型在命令列環境中執行科學研究工作。

提高非公開評測的比重，目的是降低模型針對公開題目最佳化對分數造成的影響。v5 有 60% 的分數根據非公開測試集，或答案未公開的評測結果計算。

題目或答案未公開的評測，外部人士難以在相同條件下重現結果。由於評測項目也有變動，v4.3 與 v5 的分數差異不宜直接解讀為模型本身的能力變化。

評測涵蓋的語言也會影響綜合分數的解讀。Artificial Analysis 表示，Intelligence Index 主要評估以英文為基礎的文字能力；包含韓語在內的多語能力則由其他指標衡量。

v5 公布時，領先模型與最高分開放權重模型相差 12 分，高於前一版 v4.3 所列的 3 分。當時 Kimi K3.1 Pro 得 46 分，被列為最高分開放權重模型，但模型權重尚未公開。

目前權重已實際公開的模型中，深度求索（DeepSeek）的 V4.1 Flash 1017 與 GLM-5.3 以 32 分並列最高，與 Gemini 4 Carbon 的 59 分相差 27 分。這也顯示，將模型歸類為開放權重，與模型權重實際可供下載，應分開看待。

指數分數反映模型在納入評測的任務中的表現，並不直接衡量實際採用率或開發者偏好。因此，不能只憑綜合分數就斷定某個模型更適合所有工作。

Gemini 4 Carbon 在九項評測中的四項取得最高分，但在程式設計與知識工作領域並未領先。綜合排名與個別任務的評測結果仍需分開解讀。

分數與可用範圍也是兩回事。Artificial Analysis 於 28 日表示，Gemini 4 Carbon 當時僅提供給部分使用者，尚未全面開放。

Hacker News 的公開討論中，有人質疑 1 分差距是否代表實際能力差異，也有人提出非公開評測能否由外部重現的疑問。部分使用者認為，新評測制度似乎對開放權重模型不利；這些是使用者的看法，並不代表評測偏差已獲證實。