每秒接受93.2個Token：輝達DGX Spark測試MTP

輝達DGX Spark單次請求測試中，Nemotron 3.5 Lightning採用多 token 預測（MTP）時，接受 token 吞吐量為每秒93.2個；相同條件下，基本解碼的生成 token 吞吐量為每秒75.6個。

輝達（NVIDIA，NVDA）的TensorRT Edge-LLM 0.10.0效能表顯示，DFlash在批次1下的吞吐量為每秒61.5個接受 token。表中基本解碼以生成 token 計算，MTP和DFlash則以接受 token 計算。

同時處理的請求增加至8個、批次為8時，基本解碼的吞吐量為每秒244.9個生成 token；MTP為每秒185.0個接受 token，DFlash則為每秒149.2個接受 token。

批次8的數值是8個請求的合計吞吐量。由於生成 token與接受 token的統計基準不同，不能只看數字就直接比較三種方式的效能。

Token是AI模型拆分並處理文字的單位。推測解碼會先提出後續 token 候選，再進行驗證並接續輸出，MTP與DFlash都採用這種方式。

輝達表示，TensorRT Edge-LLM 0.10.0支援Nemotron 3.5 Lightning的MTP與DFlash。這份效能表比較了兩種方式與基本解碼在該執行環境中的表現。

效能表將測試設備列為DGX Spark（GB10），但未分別標示64GB與128GB記憶體配置，因此測試結果無法歸屬於特定記憶體容量。

模型卡中的DGX Spark執行範例，則是透過vLLM 0.27.1與DSpark執行NVFP4模型。指令設定包含3個推測 token、0.85的GPU記憶體使用率，以及FP8 KV快取。

這項執行範例採用的路徑與TensorRT Edge-LLM基準測試不同，因此不能把模型卡的設定與效能表數據視為同一測試的前後結果。

模型卡指出，Nemotron 3.5 Lightning的總參數量為300億個，生成 token時會啟用30億個參數。DGX Spark版模型卡也列出最高100萬個 token的上下文長度，但這不代表該數值已在64GB配置上完成驗證。

輝達開發者影片展示以vLLM和DSpark在單台DGX Spark上同時處理16項工作，並以每秒超過500個 token的速度生成內容。這是公司公布的示範數值，所用執行引擎與同時處理的工作數，都和TensorRT Edge-LLM的批次8測試不同。

輝達於10月2日宣布推出採用64GB統一記憶體的DGX Spark，並表示預計自10月23日起透過宏碁（Acer）、華碩（ASUS）、戴爾（Dell）、技嘉（Gigabyte）、惠普（HP）與微星（MSI）供貨。

TokenPost先前曾報導兩台DGX Spark連接後的效能測試與銷售計畫。本次效能表測試的是單台設備上的不同執行方式，並非兩台設備連接後的結果。

TokenPost先前也報導過單台DGX Spark上的其他模型推論最佳化結果。該文測試的是Ling-3.0-flash，與本次Nemotron 3.5 Lightning基準測試使用的模型及測試條件不同。

輝達列出的本機推論優點包括降低對雲端連線的依賴，並能在裝置內處理資料。模型使用條款則適用OpenMDW-1.1授權。