GPU 核心程式追加 token 預算測得 FlashInfer 1.21 倍，同預算比較為 0.75 倍

加州大學柏克萊分校（UC Berkeley）研究團隊調整 AI 程式設計團隊的分工與協作方式，完成 GPU 核心程式最佳化。在追加 token 預算的實驗中，47 項工作的幾何平均效能為 FlashInfer 的 1.21 倍；採用相同預算比較時，則只有 0.75 倍。

研究團隊於 2026 年 10 月 27 日公開論文《Evolving Agent Teams》，測試用於大型語言模型生成回應的 MLA paged decode 核心程式，實驗使用輝達（NVIDIA，$NVDA）H100。

GPU 核心程式是在圖形處理器上執行運算的低階程式碼。FlashInfer 是用於大型語言模型推論的 GPU 核心程式庫，本次實驗以它作為新核心程式的比較基準。

研究團隊提出的「演進式代理團隊」由監督代理檢視工作進度與失敗原因。若進度停滯，監督代理會重新安排角色、協作順序與資訊分享方式，再由程式設計代理依照新配置撰寫核心程式。

論文舉例指出，單一代理在實作複雜 GPU 運算時，可能因正確性問題受阻，轉而採用較容易實作的設計。監督代理會診斷這類停滯，並重新安排負責修正錯誤或分析效能的角色。

先前團隊的實驗結果、失敗紀錄與程式碼會保存在共享檔案系統，供後續團隊使用。在 MLA 解碼實驗中，監督代理探索超過 100 種團隊配置，並依工作階段調整團隊組成。

追加 token 預算的實驗中，新核心程式在 47 項工作裡有 36 項快於 FlashInfer；其餘 11 項的效能介於基準核心程式的 0.86 至 0.99 倍。1.21 倍是各項工作的速度比率幾何平均值，不代表每項工作的效能都更高。

採用相同 token 預算比較時，重新配置的團隊效能為 FlashInfer 的 0.75 倍。Claude Code 單一代理的效能則介於 0.44 至 0.51 倍。依這兩種比較條件，結果都未超過既有核心程式基準。

另一項單次執行比較中，重新配置的團隊效能為 0.74 倍、固定分工的四人團隊為 0.31 倍，Codex 為 0.28 倍。這項比較的預算與執行條件不同，不能與相同預算比較的數據視為同一組實驗結果。

測量方式也會影響結果。論文指出，若不計入準備階段 plan()，只比較核心程式執行階段，新核心程式的效能為 FlashInfer 的 0.96 倍。FlashInfer 在實際運作時會快取 plan() 的結果，只有輸入條件改變時才重新計算；1.21 倍的比較採用這項運作方式。

其他實驗中，超微（AMD，$AMD）MI350X 的 KDA prefill 核心程式效能為 vLLM 的 3.01 倍；輝達 B200 的核心程式效能則為 FlashKDA 的 3.44 倍。兩項實驗使用的晶片、工作與比較對象各不相同。

主要比較設定各執行兩次，並報告較佳結果。固定團隊比較與額外硬體案例則各執行一次。研究團隊也指出，由於重複次數較少，統計比較存在限制。

本報先前曾報導，Salesforce 研究團隊透過調整 AI 代理的執行架構，提高網頁任務成功率。本次研究則依工作階段調整代理團隊的組成與協作方式，並將這種做法用於 GPU 程式碼最佳化。

撰寫 GPU 核心程式的開發流程，與執行最佳化工作的團隊組成屬於不同層面。研究團隊也公開了本次實驗的實作程式碼。