Jetson Orin Nano實測最高用量4.9GB，輝達公開Nemotron 3.5 Bolt E4B

輝達（NVIDIA，$NVDA）10月23日公開小型語言模型Nemotron 3.5 Bolt E4B 4GB，主打本機語音助理與對話代理。名稱中的「4GB」不代表模型執行時一定只使用4GB記憶體。

輝達在官方模型頁面指出，這款模型以Google的Gemma 4 E4B-it為基礎進行後續訓練，設計上可在多輪對話中遵循指示、呼叫工具，並根據輸入資訊作答。

輝達列出的應用場景包括GeForce RTX、Jetson、RTX Spark與DGX Spark上的助理、遊戲角色及嵌入式介面。TokenPost此前報導Nemotron 3.5系列時，曾提及E4B預計於本月推出。

模型卡記載，Nemotron 3.5 Bolt E4B 4GB共有80億個參數，其中有效參數為40億個。公開版本以Q4_K_M格式量化權重，最多支援6.4萬 tokens的輸入上下文。

輝達在批次大小為1、使用llama.cpp的CUDA環境下測量記憶體用量與速度，並指出實際結果會因硬體及執行設定而異。

在輸入3,000 tokens、輸出50 tokens的短輸入條件下，RTX 5070使用3.5GB VRAM。若使用32,000 tokens的既有上下文，並加入2,000 tokens新輸入及256 tokens輸出，則使用4.3GB。

Jetson Orin Nano 8GB在上述兩種條件下分別使用4.2GB與4.9GB。這些測量結果顯示，實際記憶體用量會隨輸入長度與硬體而變化，可能與模型名稱標示的容量不同。

RTX 5070在短輸入條件下，首個 token 生成時間為548毫秒，生成速度為每秒133.4 tokens；長上下文條件下，兩項數據分別為1,238毫秒與每秒106.2 tokens。Jetson Orin Nano 8GB在相同兩種條件下的生成速度，則分別為每秒15.5 tokens與13.0 tokens。這些數據是輝達在特定執行環境下公布的測量結果。

這款模型以語音助理為目標應用，但輸入與輸出都是文字。若要處理語音，仍須另外串接語音辨識及語音合成功能。

即使語言模型的推論在裝置上執行，也不代表語音辨識、語音合成或外部工具呼叫等整體服務資料處理都會自動留在本機。實際資料處理方式仍取決於服務串接的功能。

輝達公布的BF16模型自評中，E4B在評估多輪對話能力的MultiChallenge取得53.1分，高於Gemma 4 E4B的42.1分，也高於Qwen 3.5 4B的51.8分。

在評估多步驟客戶任務執行能力的Tau2-Bench中，E4B取得55.1分，低於Qwen 3.5 4B的75.1分。上述分數來自BF16模型評估，不能直接視為Q4_K_M版本的表現。

輝達已在Hugging Face公開模型權重，使用時適用OpenMDW 1.1授權。