Back to top
  • 공유 分享
  • 인쇄 列印
  • 글자크기 字體大小
已複製網址

支援40種語言,輝達(NVIDIA,NVDA)公開 Nemotron 3.5 Transcribe

會議用錄音設備與耳機上顯示的音訊波形 / TokenPost.ai

輝達(NVIDIA,NVDA)公開開放權重模型 Nemotron 3.5 Transcribe,可處理40種語言的錄音轉錄,並支援翻譯、區分說話者及根據錄音內容回答問題。

輝達於28日透過官方公告表示,使用者可同時輸入錄音與文字指令。開發者能在指令中指定轉錄格式、產品名稱或專業術語,讓模型依照需求產出結果。

除了聽寫和翻譯,模型也能依指令整理會議決議。不過,語音問答與語音指令理解目前僅以英語進行評估。

各項功能支援的語言數不同:轉錄支援40種語言,英語與其他語言之間的翻譯支援31種語言,標示不同說話者的發言則支援13種語言。

模型可處理最長1小時的錄音,並區分最多8名說話者。說話者標記用來分辨錄音中的發言段落,不會確認實際人物身分。

韓語列在轉錄、翻譯及說話者標記的支援語言中。模型卡所列的公開評測集 FLEURS 顯示,韓語「字元錯誤率」(CER)為2.78%。

這項數據是模型在 FLEURS 評測中按字元計算的結果,不代表所有韓語會議或訪談錄音都能達到相同準確度。

Nemotron 3.5 Transcribe 與用於即時串流的 Nemotron 3.5 ASR 不同。6月公開的 ASR 模型有6億個參數,可處理即時語音;Transcribe 則以錄音檔作為輸入。

Transcribe 的總參數量為340億個,輸入處理時啟用的參數約43億個。兩個數字分別代表模型總規模,以及實際處理輸入時啟用的參數規模。

模型採用 Nemotron 3.5 Lightning 作為語言模型基礎,並結合語音辨識與說話者區分元件。輝達先前曾公開面向企業代理任務的 Nemotron 3.5 Lightning。

模型權重以 BF16、FP8 和 NVFP4 格式發布於 Hugging Face。可下載權重不代表部署與營運成本也一併免除。

模型資料採用 OpenMDW-1.1 授權。重新發布時,須遵守授權條款,包括註明授權與來源。

輝達技術部落格介紹的多語語音資料集 Granary v2,其公開清單列出48種語言、16個來源語料庫及463,062小時資料。

這個時數是 Granary v2 公開清單所列的數字,與新模型實際使用的完整訓練語音時數並非相同指標。原始音訊仍須依各來源資料的授權條款另行取得。

模型卡指出,長時間錄音、多人重疊發言、背景噪音、專有名詞及語言混用等情境仍須另行檢查。實際應用時,應依錄音環境和各語言條件評估模型表現。

<版權所有 ⓒ TokenPost,未經授權禁止轉載與散佈>

最受歡迎

其他相關文章

留言 0

留言小技巧

好文章。 希望有後續報導。 分析得很棒。

0/1000

留言小技巧

好文章。 希望有後續報導。 分析得很棒。
1