一款營運平台可按團隊與 AI 代理追蹤模型成本,並在預算額度用盡時由閘道拒絕下一次模型呼叫。
Nasiko 於 16 日在官方部落格介紹 OpenRuntime,並說明成本管理功能 TokenOps 的運作方式。使用者可為團隊或個別代理設定預算上限;支出達上限的 80% 時,系統會發出警示。Nasiko 表示,額度用盡後,Agent Gateway 會拒絕下一次模型呼叫。
遭拒絕的是下一次模型呼叫。僅根據官方說明,無法認定代理的所有工作都會自動停止。
TokenOps 可依團隊、模型、代理與執行框架分類顯示成本。執行框架是指用來執行代理,並連接工具與模型的環境。
使用者可在個別執行紀錄中查看模型呼叫與工具使用路徑。使用多家模型供應商的組織,可藉此辨別支出來自哪些團隊或工作。
記錄成本與執行期間強制套用預算上限,兩者的運作條件不同。Nasiko 的公開儲存庫說明,工作階段用量回報與模型路由可以分別啟用。
預算限制只會在模型呼叫經過 Nasiko 閘道時套用。Nasiko 並未表示,閘道以外的呼叫也會受到相同限制。
Nasiko 表示,連接平台時不必更動既有代理程式碼或 SDK。不過,實際能管控的預算範圍,取決於模型請求是否設定為經過閘道。
除了成本管理,OpenRuntime 也能管理工具使用權限。Nasiko 表示,使用者可以允許或封鎖特定工具,也可以設定為須經人工核准後才能使用。
Nasiko 於 5 月介紹控制層,涵蓋代理註冊、路由、安全、部署與監控等功能。當時的公告說明了 OpenRuntime 的多項營運功能。
9 月,Nasiko 宣布在 DigitalOcean(DOCN)市集提供託管式執行環境,並將 TokenOps 介紹為支出追蹤與管控功能。因此,16 日的公告較像是介紹包含 TokenOps 在內的 OpenRuntime 整體功能,而非首次公開 TokenOps。
公開儲存庫也有使用者回報成本計量相關問題。一名貢獻者聲稱,Codex 的快取輸入 token 被重複計算,導致其個人案例中的費用被記錄為約 6.9 倍。另一名使用者則回報,新 Codex 工作階段的首次用量被記錄為 0。
另有一則問題回報指出,Claude Code 的工具呼叫中斷時,已計費的用量可能未出現在紀錄中。發文者表示,自己在檢視的 15 份逐字紀錄中統計到相關案例。這些是個別使用者的回報,不能代表產品整體的錯誤率。
Nasiko 在 16 日的公告中表示,公開儲存庫累計有 1 萬 1900 顆星。這是整個專案累積的數字,不代表此次公告單獨帶來的反應。
Comment 0