估計2025年第二季至2026年第二季新增的AI代理推論容量中,74%來自輝達(NVIDIA,NVDA)的Blackwell與Blackwell Ultra系列。這項比重是結合晶片銷售量估算,以及晶片在固定工作條件下可同時處理的請求數計算而得。
Epoch AI於18日公布的分析指出,同期累計售出的AI晶片推論容量增至2025年第二季的4.6倍;同一批晶片的最高8位元運算能力則增至2.6倍。兩項倍數均以2025年第二季為基準。
74%指的是Blackwell系列對一年新增推論容量的貢獻,不是其占整體推論容量的比重。到2026年第二季,Blackwell與Blackwell Ultra占累計推論容量約73%,占最高8位元運算能力的比重則為50%。
Epoch AI於9日發布的《Inference Performance Index》(推論效能指數)報告估算,GB300每顆晶片可處理的AI代理請求容量約為H100的25倍、H200的8倍;但GB300每秒最高8位元運算量約為H100的2.5倍。
這不代表GB300在所有AI工作中都比H100快25倍。報告在固定工作條件下,以4種代表性模型計算各晶片可同時處理的請求數。
AI代理工作可延續使用先前的對話或工作紀錄,因此比較處理容量時,納入長篇上下文相當重要。報告以可重複利用這些上下文的工作作為比較條件。
報告也設定不同的每秒輸出速度,範圍為50至400個token。Token是AI模型處理或生成文字時使用的單位。
這類工作能否同時處理更多請求,不只取決於運算速度,也受記憶體可容納的紀錄量、資料讀取速度,以及晶片之間的傳輸速度影響。因此,單看最高運算能力難以比較推論容量。
報告在由72個GPU高速互連的系統中評估GB300。結果會受到整體工作環境和互連配置影響,不能只看單顆晶片規格。
即使同屬Blackwell Ultra系列,採用不同互連方式的B300系統,其每顆晶片推論容量估值也相差約1.9倍。這表示GPU配置不同,對同系列晶片推論效能的評估也可能不同。
Blackwell架構的運算容量也出現在企業供應合約中。TokenPost先前報導,Corvex宣布簽訂合約,將為AI推論平台供應以Blackwell為基礎的運算容量。
整體推論容量的估算方式,是將各類晶片的銷量估值乘上每顆晶片的推論效能指數分數後加總;各季均採用同一組工作內容進行比較。
累計容量增至4.6倍,並不代表這一年新售晶片的貢獻單獨增加了4.6倍。作為參考,估算2026年第二季售出的晶片所增加的推論容量,是2025年第二季銷售晶片所增加容量的3.3倍。
計算也納入系統配置假設。Epoch AI將部分晶片的配置設為GB/NVL72機櫃系統占60%、B/HGX伺服器占40%,並未計入軟體效率差異。
考量銷量與硬體配置的不確定性,一年推論容量增幅估計介於4.2至5.1倍。Epoch AI表示,這個區間反映銷量與配置假設的不確定性,但不包括模型所估晶片效能本身的不確定性。
因此,74%與4.6倍都是依據銷量估值和特定AI代理工作條件進行的容量比較,不代表所有資料中心的實際處理表現。
Comment 0