GLiDE 在 System One 綜合表現居首，判斷可靠度排名第7

SO-Arena 評測顯示，GLiDE 在 System One 模型中綜合表現排名第一，但判斷可靠度在18款模型中排名第7。整體綜合表現則有兩款 System Two 基準模型高於 GLiDE。

研究團隊於11日提交至 arXiv 的論文比較了21款模型，涵蓋11個領域、共2,919項任務。論文提交版本的評測對象也包括兩款 System Two 基準模型，以及一款會自動決定是否進行額外推理的模型。

System One 模型不生成長篇回答，而是根據輸入資訊和預先設定的選項作出判斷。輸出會以各選項的分數或機率等格式呈現，可供軟體直接處理。

任務取自40個公開資料集、基準測試與環境。其中2,300項是根據固定輸入作出判斷的靜態任務，另有619項需要與網頁或工具環境互動；環境類任務包括337項網頁任務和282項工具使用任務。

評測涵蓋△情緒理解、△意圖分類與路由、△數學、△程式碼理解、△科學推理、△知識與常識、△安全、△搜尋與重新排序、△任務完成驗證、△工具與 API 使用，以及△文字網頁互動。研究團隊將這些項目歸納為語意理解、知識與推理、安全與政策遵循、證據評估、代理任務完成等5種能力。

能力分數將11個領域等權計算，並以各領域中難度較高的任務為主。不過，各領域的難度分級方式不同，因此不能只憑分數直接比較不同領域任務的難度。

論文的綜合表現分數中，GPT-6 Sol 為82.3分，GPT-6 Luna 為79.7分。System One 模型中排名最高的 GLiDE 得分70.2分，低於兩款 System Two 基準模型。

速度測試中，開放權重的 System One 模型在單張 H100 GPU 上，每項任務都能在0.3秒內回應。研究團隊表示，這個速度比 GPT-6 Sol 和 GPT-6 Luna 快數十倍。

可靠度評測將同一任務的選項順序更換12次，觀察模型是否維持原先選擇的答案，以檢驗選項排列改變時模型判斷是否穩定。

研究團隊也移除部分任務中的正確選項，檢查模型能否辨識出題目沒有有效答案。

論文的可靠度分數綜合了模型對選項順序變動的穩定性，以及辨識正確答案不存在的能力。因此，這項分數不代表整體答對率，也不等同於實際服務中的穩定性。

JevAny-27B 的可靠度排名第一，但在21款模型的綜合表現排名中位居第11，顯示表現排名與可靠度排名並不一致。

額外推理的效果也因領域而異。StartLux Auto 在數學任務中，始終啟用額外推理時得分92.5分，關閉時則為50.8分。部分比較模型規模的實驗使用了不同的基礎版本，因此難以單獨判斷模型大小帶來的影響。

評測對象也包括 TypeSafe AI 的 Jev API 1.14。本刊先前曾介紹 Jev 是一款回傳選項與機率、而非句子的模型。這項研究進一步評估此類模型在網頁任務與工具使用任務中的表現，評測範圍不只限於分類與路由。