OpenAI的GPT-6.1 Terra(Max)在Agent Arena評測中以10.6%的淨改善分數排名第8。
Crypto Briefing於30日的報導指出,這項評測的單項任務成本中位數為0.62美元(約831韓元),也就是完成一項評測任務的成本中位數。
其他評測所報告的GPT-6.1 Terra單項任務成本中位數介於0.40至0.62美元(約536至831韓元),Agent Arena的結果位於區間上限。
Agent Arena評估模型代替使用者執行任務的能力,測量項目與一般問答表現不同。本刊先前也曾報導Claude Sonnet 5.5在Agent Arena的排名。
OpenAI於10月26日推出GPT-6.1 Terra,這款模型面向視覺資訊推理、代理任務與自然寫作。
主要應用包括點選螢幕上的項目、填寫表單、處理帳單,以及操作文件。在產品系列中,Terra屬於中階模型;GPT-6.1 Sol與GPT-6 Astra定位較高,GPT-6 Luna則定位較低。
在Terminal-Bench 4.0中,採用最高推理設定的GPT-6.1 Terra得分為50.3%。前代GPT-5.6 Terra在最高推理設定下得分為21.5%。
在Agents’ Last Exam中,模型採用最高推理設定時的通過率為60%;在評估電腦操作能力的OSWorld中,得分約為74%。
Terminal-Bench 4.0、Agents’ Last Exam、OSWorld與Agent Arena是不同的評測,各自採用不同標準,因此分數與排名難以視為同一尺度直接比較。
標準API價格為每100萬個輸入token 1美元(約1,340韓元),每100萬個輸出token 5美元(約6,700韓元)。Crypto Briefing指出,標準API價格比GPT-6.1 Sol與GPT-5.6 Terra低約50%。
本刊先前也曾報導GPT-6.1 Terra推出及標準API降價。API token價格與Agent Arena統計的單項任務成本是不同指標。
GPT-6.1 Terra可透過ChatGPT Work、Codex及開發者API使用,一般ChatGPT對話介面則無法使用。
該模型的上下文視窗為105萬個token。
留言 0