AI推論容量指標納入記憶體與晶片通訊，GB300設為基準

一項用來估算單一 AI 加速器可同時處理多少推論請求的指標已公開，計算範圍除了運算量，也納入記憶體、晶片間通訊，以及生成回答前處理輸入所需的晶片容量。

Epoch AI 在變更紀錄中記載，10月19日新增「推論效能指數」（Inference Performance Index）第1版。該指標比較不同加速器可同時處理的解碼請求數，並將基準產品輝達（NVIDIA，NVDA）GB300的分數設為1。

指數先將4種模型各自的處理容量換算為相對於GB300的分數，再取平均。每種模型權重相同；實際效能差異仍會因模型與輸出速度而異。

比較對象是仿照GLM-5.2、Kimi-K3、Qwen3-Coder 480B及MAI-Base-2架構的模型。每項請求採用已快取的262,144個 token 上下文，並評估每秒輸出50至400個 token 的情境。

Epoch AI假設預填充與解碼由不同晶片群組處理，也另外計算預填充容量，設定為每輸出1個 token，需處理1.51個新輸入 token。

執行時間由輝達的AISimulate估算。系統根據模型運算量與硬體規格，尋找可容納於記憶體的批次大小與平行化配置，再選出各種輸出速度下，每顆晶片可同時處理請求數最高的設定。

計算也假設每次推測解碼迭代平均接受3個 token，並納入低精度專家權重。Epoch AI指出，token 接受率在不同設定下相同，以及不同精度的輸出品質相同，都是模型假設。

這項指標並非實際服務測得的同時使用者數或回應時間，也沒有納入排隊與工具呼叫期間的停頓；模型品質、耗電量與價格同樣不在分數計算範圍內。

輝達產品資料顯示，GB300 NVL72是在單一機櫃連接72個Blackwell Ultra GPU的系統，每顆GPU配備288GB HBM3e記憶體。H100 SXM則是每顆GPU配備80GB HBM3記憶體，記憶體頻寬為每秒3.35TB。

處理長上下文推論時，讀取儲存資訊所需的記憶體頻寬，以及晶片之間的通訊，也會影響執行時間。Epoch AI因此將記憶體頻寬與晶片互連規格，和運算量一併用於估算工作時間。

輝達表示，GB300 NVL72每位使用者的回應能力最高可達Hopper平台的10倍。這是廠商針對DeepSeek-R1提出的數據，GB300採用FP4與Dynamo配置，H100則採用FP8與in-flight batching。由於建模方式與測量對象不同，這項數據不能視為Epoch AI指標的同類結果。

另一項案例中，輝達先前表示，Qwen3.8-Flash-Next在GB300上的單GPU吞吐量超過每秒16,000個 token。該結果同樣來自特定模型與系統配置。

MLCommons於11月4日公開的MLPerf Endpoints v1.0報告，列出以GB300 NVL72四GPU系統執行DeepSeek-V4.1-Flash的結果。在512筆同時請求下，系統吞吐量為每秒35,185.2個 token，首個 token 回應時間的第90百分位數為310.8毫秒；該結果標記為已完成驗證。

報告沒有提供相同條件下的H100測試結果，因此不能用來比較兩款產品的效能倍數，也無法驗證輝達提出的最高10倍數據。

Epoch AI指標是以4種模型和一段輸出速度區間，估算每顆加速器的平均處理容量；MLPerf報告則是特定模型與系統配置下的測試結果。兩者條件及測量對象不同，不能直接對照解讀。