NVIDIA DGX Spark推論吞吐量提升42.5%

NVIDIA（輝達，$NVDA）在單台DGX Spark上同時套用三項Ling-3.0-flash推論最佳化後，於1,319道GSM8K數學題測試中，吞吐量提升42.5%。每秒生成的Token數從37.81個增至53.89個，平均回應延遲則從15.21秒降至11.49秒。

NVIDIA於27日在技術部落格公布這項內部評估結果。測試以批次大小1進行，也就是每次處理一項請求。Ling-3.0-flash是總參數量1,240億、每生成一個Token會啟用51億參數的混合專家（MoE）模型。

第一項最佳化是將MoE運算後端從flashinfer_mxfp4改為Humming。在輸入32,000個Token、輸出2,000個Token的合成測試中，生成單一Token所需時間從27.71毫秒降至25.35毫秒，吞吐量則從每秒36.09個Token增至39.45個，提升9.3%。

第二項最佳化是以線上FP8方式量化模型輸出層LM head的權重。NVIDIA表示，這能將該層的權重讀取量減半。合成測試中，Humming與FP8一併套用後，吞吐量達每秒43.94個Token，較未採用這兩項方法的基準設定高21.7%。

第三項是運用模型中的NEXTN層進行多Token預測（MTP）：先提出並驗證多個後續Token，以減少生成步驟。合成測試中，三項最佳化一併套用後，吞吐量較基準設定高185.1%。

不過，合成測試的結果不能直接視為實際工作負載的效能提升幅度。NVIDIA說明，在輸出長度固定為2,000個Token並採用貪婪解碼的合成測試中，重複性輸出可能讓預測Token更容易被採用。

GSM8K測試的輸出長度中位數約為310個Token，MTP預測Token的平均採用長度為2.68個；合成測試的平均採用長度則為3.90個。兩項測試條件不同，因此合成測試的185.1%與GSM8K測試的42.5%應分開看待。

NVIDIA公布的基準設定準確率為96.89%，最佳化設定為96.82%。該公司報告兩者相差0.08個百分點，並表示這不是統計上可檢出的準確率變化；按公布的兩個數值計算，差距為0.07個百分點。

這些數據來自NVIDIA針對特定模型、設備與測試設定所做的內部評估。目前尚未確認有獨立重現測試或第三方驗證。

DGX Spark是可在裝置上執行AI模型的設備。本刊先前曾報導兩台DGX Spark連接後的效能測試與銷售計畫。這次公布的結果則是在單台設備上調整運算路徑與輸出生成流程，而非增加連接設備。

同時啟用三項最佳化時，仍須確認設定。NVIDIA表示，若MTP草稿模型未與LM head模組完整共用，部分最佳化可能無法生效，效能甚至可能低於基準設定。該公司建議在開始部署時確認各項功能是否確實啟用。