Back to top
  • 공유 分享
  • 인쇄 列印
  • 글자크기 字體大小
已複製網址

AI代理人每產出1個 token 重讀93個,工作成本估為3.6倍

重新讀取先前工作脈絡的AI代理人畫面 / TokenPost.ai

AI代理人排行榜前10名每產生1個輸出 token,平均會重新讀取約93個已處理過的上下文 token。

Arena.ai於10月30日發布的分析檢視了Agent Arena的26,225個工作階段,資料涵蓋2026年9月12日至10月23日,包含13個研究機構的30種代理人。

分析中的「前10名」以10月8日的排行榜為準。在全部樣本中,重新讀取先前上下文的 token 占使用量86%至96%,代理人生成的輸出則占1%至2%。

AI代理人會將工作拆分成多個步驟。若下一步重新輸入先前的對話與工作內容,除了生成最終答案所需的 token,也會累積讀取上下文的 token。

此處的 token 是AI模型處理輸入與輸出的單位,並非加密貨幣或區塊鏈代幣的使用量。

工作成本不能只看輸出量

Arena.ai估算,若前10名代理人的快取讀取部分改按一般輸入費率計價,一般工作成本將是原先的3.6倍。

這項比較維持各工作階段的 token 用量不變,只將快取讀取費率改為一般輸入費率,並套用研究機構公開的價格表。

因此,3.6倍不是關閉快取、重新執行工作後實際測得的帳單金額,而是根據分析中的工作階段與採用的價格表所作的估算。

快取費率與條件也會影響成本

提示快取會在後續請求中重用先前請求已處理的共通輸入內容。OpenAI在提示快取文件中說明,支援模型的快取輸入費率最高可比一般輸入低95%。

只有共通內容相符時才能重用快取。即使對話延續,也不代表一定會命中快取。

OpenAI在API變更紀錄中表示,12小時保留選項的快取寫入費率是一般輸入費率的2.5倍。因此,單看快取讀取折扣,難以計算整體成本節省幅度。

比較工作成本時,應以單一工作為單位檢視新輸入、快取讀取、快取寫入及輸出的費率。只看輸出量或快取命中率,都無法得知完整成本。

TokenPost先前曾報導Agent Arena排行榜,以及每項工作的成本與輸出量;這次分析則進一步拆解工作成本中的輸入重讀過程與快取費率。

<版權所有 ⓒ TokenPost,未經授權禁止轉載與散佈>

最受歡迎

其他相關文章

留言 0

留言小技巧

好文章。 希望有後續報導。 分析得很棒。

0/1000

留言小技巧

好文章。 希望有後續報導。 分析得很棒。
1