AI代理人排行榜前10名每產生1個輸出 token,平均會重新讀取約93個已處理過的上下文 token。
Arena.ai於10月30日發布的分析檢視了Agent Arena的26,225個工作階段,資料涵蓋2026年9月12日至10月23日,包含13個研究機構的30種代理人。
分析中的「前10名」以10月8日的排行榜為準。在全部樣本中,重新讀取先前上下文的 token 占使用量86%至96%,代理人生成的輸出則占1%至2%。
AI代理人會將工作拆分成多個步驟。若下一步重新輸入先前的對話與工作內容,除了生成最終答案所需的 token,也會累積讀取上下文的 token。
此處的 token 是AI模型處理輸入與輸出的單位,並非加密貨幣或區塊鏈代幣的使用量。
工作成本不能只看輸出量
Arena.ai估算,若前10名代理人的快取讀取部分改按一般輸入費率計價,一般工作成本將是原先的3.6倍。
這項比較維持各工作階段的 token 用量不變,只將快取讀取費率改為一般輸入費率,並套用研究機構公開的價格表。
因此,3.6倍不是關閉快取、重新執行工作後實際測得的帳單金額,而是根據分析中的工作階段與採用的價格表所作的估算。
快取費率與條件也會影響成本
提示快取會在後續請求中重用先前請求已處理的共通輸入內容。OpenAI在提示快取文件中說明,支援模型的快取輸入費率最高可比一般輸入低95%。
只有共通內容相符時才能重用快取。即使對話延續,也不代表一定會命中快取。
OpenAI在API變更紀錄中表示,12小時保留選項的快取寫入費率是一般輸入費率的2.5倍。因此,單看快取讀取折扣,難以計算整體成本節省幅度。
比較工作成本時,應以單一工作為單位檢視新輸入、快取讀取、快取寫入及輸出的費率。只看輸出量或快取命中率,都無法得知完整成本。
TokenPost先前曾報導Agent Arena排行榜,以及每項工作的成本與輸出量;這次分析則進一步拆解工作成本中的輸入重讀過程與快取費率。
留言 0