Back to top
  • 공유 分享
  • 인쇄 列印
  • 글자크기 字體大小
已複製網址

輝達推出1200億參數企業級開放權重模型 Nemotron 3.5 Super VL

AI生成圖片:桌上的小型AI工作站 / TokenPost.ai

輝達(NVDA)發表一批專為全天候運作的AI代理與邊緣運算打造的「開放權重」模型,包括1款企業級大型模型,以及2款可在AI PC上直接執行的輕量模型。所謂開放權重模型,是指公開模型權重,讓使用者可以下載後在自家基礎設施上執行,並進一步訓練的AI模型。

大型模型為Nemotron 3.5 Super VL,參數規模達1200億個,主打企業級AI代理。輝達說明,這款模型的參數量比Nemotron 3 Ultra少,但在遵循指令與使用工具的任務上,準確度可與後者相當。

輝達並主張,若針對特定代理任務對Super VL進行追加訓練,完成工作的速度會比Anthropic與OpenAI的競爭模型(Opus 5、GPT 6.1 Sol、Luna、Astra)更快。測試任務涵蓋文件智慧處理、財務會計、科學實驗、醫療保險理賠,以及資安攻擊應對。輝達點名的Super VL使用企業有Skydance、EY、Ramp、CrowdStrike(CRWD)、Perplexity與賽富時(CRM)。

卡里·布里斯基(Kari Briski)是輝達開放模型與軟體副總裁。她在部落格文章中表示:「想在輝達基礎設施上執行代理的組織,現在不必在效能與部署便利性之間二選一,可以依各自需求,選用經過最佳化的開放模型。」她也說:「和封閉式的前沿模型不同,Super VL可以用自有資料追加訓練、部署在自家基礎設施上,並擁有產出成果。」換句話說,自行營運資料中心的企業,可以直接掌控模型與成果。

輕量模型則是2款Bolt。它們設計用於搭載RTX Spark晶片的新款AI PC,以及DGX Spark工作站,可在本機執行。鎖定一般消費者、開發者與企業知識工作者的PC,正透過微軟(MSFT)與戴爾(Dell)等夥伴供貨。輝達先前已公開Nemotron 3.5,詳情可見本站先前報導。

Nemotron 3.5 Bolt 74B-A9B 24GB是擁有740億個參數、用於本機代理的模型。它在速度與推理之間取得平衡,可處理多步驟推理、工具呼叫與網頁瀏覽。體積最小的Bolt E4B則針對對話型代理。布里斯基表示,PC使用者能「不必把日常專案送上雲端,也能放手交辦」。

TechCrunch點出這次發表的兩項背景。其一,身為輝達客戶與投資對象的前沿AI企業,正把目光轉向AWS的Trainium、Cerebras與自研晶片等輝達以外的晶片。其二,在意隱私的消費者,可能不願導入能接觸家庭、健康與金融資訊的代理。TechCrunch認為,在本機執行的模型,正是針對這類疑慮而來的做法。

輝達表示,Super VL與Bolt 74B-A9B目前已可使用,Bolt E4B預計於本月內推出。

<版權所有 ⓒ TokenPost,未經授權禁止轉載與散佈>

最受歡迎

其他相關文章

留言 0

留言小技巧

好文章。 希望有後續報導。 分析得很棒。

0/1000

留言小技巧

好文章。 希望有後續報導。 分析得很棒。
1