生命科學實驗影像判讀 AI 評測中,Gemini 4 Carbon 得分最高,達64%;評測機構列出的模型每題成本差距則為99倍。
Artificial Analysis 於6日公布 VIALS-AA 評測結果,共測試19款模型。VIALS-AA 是對 Handshake AI 生物科學影像評測基準 VIALS 的獨立實作。
Handshake AI 的 VIALS 說明指出,原始評測由161道視覺問答題組成,每題包含研究影像、問題與簡短答案。
測試素材涵蓋凝膠轉漬影像、質體圖、顯微鏡影像、流式細胞分析圖、系統發育樹與分子結構等。評測衡量模型能否讀取生物科學研究常見的視覺資料,並從影像中找出依據作答。
VIALS 聚焦實際研究工作會用到的影像與資料,而非論文或教科書中的整齊圖表。題目除了要求辨識視覺資訊,也要求模型運用研究領域知識進行判讀。
原始 VIALS 提供影像與問題,讓模型回答一次。VIALS-AA 則允許使用支援程式碼執行與影像檢視的 Stirrup 工具,讓模型放大或仔細查看影像後作答。
兩項評測的工具條件與計分方式不同,因此結果不能直接比較。VIALS-AA 的評測方法是每題重複測試三次,並以三次都答對的題目比例作為代表分數。
Gemini 4 Carbon 在161道題中有103題三次全答對,得分64%。GPT-6 Astra 得分63%,Claude Opus 5.5 則為61%。
這些分數代表模型在指定題目與工具環境下,重複答對的比例,不等同於生物科學研究整體成功率,也不代表實際研究工作的成果。
GPT-6 Luna 每題成本標示為0.02美元(約27韓元),Grok 4.7 則為1.77美元(約2386韓元)。Artificial Analysis 將成本差距列為99倍,但公開頁面以美分為單位顯示成本,直接用兩個數字相除會得到不同結果。
成本估算納入輸入、快取讀取、快取寫入、推論與回答 token 的價格。評測將三次測試的 token 用量取平均,套用各模型的代表性快取命中率,但不包括評分模型的呼叫成本。
GPT-6.1 Sol 得分59%,Claude Opus 5.5 得分61%,相差2個百分點;Sol 每題成本約為 Opus 的三十分之一。
Artificial Analysis 統計,Kimi K3.1 Pro 與 GPT-6 Astra 各自在約四分之三的題目中至少答對一次。不過,三次都答對的比例分別為45%與63%,兩者有所差異。
分項表現方面,Gemini 4 Carbon 在質體圖與系統發育樹分析中領先,並與 Gemini 4 Argon 在流式細胞分析項目並列第一。Claude Opus 5.5 在凝膠轉漬影像項目得分最高,Claude Sonnet 5.5 則在細胞計數項目領先;蛋白質結構與結合項目由 GPT-6.1 Terra 領先,分子結構項目則由 GPT-6 Astra 與 GPT-6.1 Sol 並列第一。
各模型使用工具的情況也不相同。Claude Sonnet 5.5 得分60%,GPT-6.1 Sol 得分59%;不過,Sonnet 平均每題的工具呼叫次數是 Sol 的3.6倍,成本約為 Sol 的18倍。
Comment 0