慧與科技(Hewlett Packard Enterprise,HPE)表示,將AI程式碼代理的重複工作交由公司內部私有雲處理後,內部Token成本降低了30%至50%。
HPE表示,複雜規劃交由效能最高的模型處理,程式碼生成、測試與修改等重複工作則由公司內部部署的開放權重模型負責。相關資訊載於HPE官方資料。
負責分派請求的閘道會依工作難度、資料敏感度、預算與回應延遲選擇模型。HPE表示,內部AI平台採用LiteLLM閘道與預算控管,在混合式Azure和HPE私有雲AI(PCAI)環境中支援超過150個應用程式。
Token是AI模型處理輸入與輸出時使用的資料單位。程式碼代理處理單一任務時,可能先規劃,再產生程式碼,接著反覆測試與修改,因此會多次呼叫模型。
HPE公開資料未說明30%至50%降幅的詳細計算方式,因此這項數字應視為HPE內部分析結果。
最高60%是另一項比較數字。HPE在9月2日的2026會計年度第三季財報電話會議上表示,根據公司內部分析,PCAI的Token成本可能比公有雲低至多60%。這是HPE在財報電話會議中提出的預測。
30%至50%指的是將重複工作移至內部處理後,HPE提出的內部運作結果;最高60%則是PCAI與公有雲的比較。兩者的比較對象與計算範圍不同,難以直接對照。
Gartner於6月24日發布的新聞稿預測,到了2028年,AI程式碼工具的成本可能超過開發者平均薪資。Gartner建議,簡單工作使用較小型模型,複雜任務才交由高效能模型處理,並控管使用量。
降低成本的方式不只涉及模型分派。本刊先前報導,Meta(META)將AI程式碼工具的Token價格下調80%。供應商降價與HPE將工作分派至內部處理的方式不同,兩者的降幅不能直接比較。
HPE也表示,內部用量集中在部分使用者身上。同一授權下,用量最高的5%使用者消耗了大部分用量;用量最高者的消耗量約為最低者的450倍。這項內部數據顯示,單憑使用者人數難以估算成本。
除了Token支出,HPE也提出每位活躍開發者的成本,以及每件核准PR(Pull Request,合併請求)的成本,作為衡量指標。核准PR指通過程式碼審查、完成合併,且後續仍在使用的程式碼變更。
研究團隊在9月26日更新的預印本中,模擬一家擁有1萬個席位的企業,估計模型支出可減少13%至21%。計算使用公開資料集中的使用者行為,以及截至9月21日的Anthropic模型價目表。
這項結果是套用公開資料與價目表的模擬計算,並非對HPE實際內部運作的驗證。模型、價格與工作條件也和HPE的內部分析不同,因此兩者的降幅難以直接比較。
HPE提出30%至50%的降幅,同時建議關注每位活躍開發者與每件核准PR的成本,但未公開這些指標的實際測量值。因此,此次降幅應解讀為HPE公布的內部Token成本變化,而非開發成果的衡量結果。
留言 0