Google的Gemini 4 Carbon在最新人工智慧綜合指數中,以最高推理設定取得60分,在74款模型中排名第4;各項任務的基準測試結果則有所不同。
評測機構Artificial Analysis在最新的Intelligence Index v5.0.1中,給予Carbon最高推理設定High 60分。同一頁面列出的Medium為58分,Low為54分。
Google於10月28日發布的消息指出,Carbon在Intelligence Index v5.0中以59分排名第1。本刊當時曾報導Google公布的59分與第1名成績。兩次評測的指標版本與比較模型組合不同,不能解讀為Carbon在同一排行榜上升或下滑。
Google DeepMind 10月版的模型卡顯示,Carbon在軟體開發評測FrontierSWE 2取得61.2%。GPT-6 Astra為65.5%,Claude Opus 5.5為62.3%,兩者都高於Carbon。模型卡中的數據呈現了各模型在這項任務上的分數差距。
在透過命令列環境執行任務的Terminal-Bench 4.0中,Carbon取得65.2%;同一張表中的GPT-6 Astra為59.1%,Claude Opus 5.5為59.6%。
在電腦操作測試OSWorld-2.1的離線子集中,Carbon得分為81.5%,Claude Opus 5.5則為87.2%。這些分數只涵蓋部分任務,並非整項測試的結果。
評測方法也有特定條件。Google DeepMind在評測方法說明中指出,除非另有標示,Carbon與Argon的結果均以pass@1為基準,並採用最高推理設定;小型基準測試則會多次執行並取平均。
除非另有說明,對照模型的分數是各模型開發商自行公布的數據。Carbon的部分結果由Google直接計算,部分則取自外部公開排行榜。表中各項分數並非都以相同方式測得。
Google表示,Carbon是為複雜程式設計與長時間驗證工作所設計。相較於Argon,Carbon會使用更多token;使用者也可依推理設定調整品質、延遲時間與成本。
模型卡也列出幻覺、回應延遲與逾時等可能性。因此,基準測試分數難以直接換算為實際使用環境中的速度或穩定性。
Google在10月28日的發布消息中表示,將先向部分資安人員提供Carbon,並預告當週開始供應。
Google於11月10日發布的說明則指出,供應範圍已擴大至付費API使用者與企業客戶。開發者與企業可透過Google AI Studio API及Gemini for business使用。
Google也表示,Google AI Ultra訂閱者將陸續可在Gemini應用程式、Google Antigravity及搜尋AI模式中使用Carbon。發布預告與實際擴大供應是不同階段。
API導入價格為每100萬token輸入2美元(約2700韓元)、輸出10美元(約1萬3400韓元)。優惠適用至11月30日;此後價格將調整為每100萬token輸入4美元(約5400韓元)、輸出20美元(約2萬6800韓元)。
Artificial Analysis估算,按標準費率計算,每項智慧指數評測任務的成本為7.76美元(約1萬400韓元)。這項估算未採用初期優惠價格。
Comment 0