輝達(NVIDIA,NVDA)公開開放權重模型 Nemotron 3.5 Transcribe,可處理40種語言的錄音轉錄,並支援翻譯、區分說話者及根據錄音內容回答問題。
輝達於28日透過官方公告表示,使用者可同時輸入錄音與文字指令。開發者能在指令中指定轉錄格式、產品名稱或專業術語,讓模型依照需求產出結果。
除了聽寫和翻譯,模型也能依指令整理會議決議。不過,語音問答與語音指令理解目前僅以英語進行評估。
各項功能支援的語言數不同:轉錄支援40種語言,英語與其他語言之間的翻譯支援31種語言,標示不同說話者的發言則支援13種語言。
模型可處理最長1小時的錄音,並區分最多8名說話者。說話者標記用來分辨錄音中的發言段落,不會確認實際人物身分。
韓語列在轉錄、翻譯及說話者標記的支援語言中。模型卡所列的公開評測集 FLEURS 顯示,韓語「字元錯誤率」(CER)為2.78%。
這項數據是模型在 FLEURS 評測中按字元計算的結果,不代表所有韓語會議或訪談錄音都能達到相同準確度。
Nemotron 3.5 Transcribe 與用於即時串流的 Nemotron 3.5 ASR 不同。6月公開的 ASR 模型有6億個參數,可處理即時語音;Transcribe 則以錄音檔作為輸入。
Transcribe 的總參數量為340億個,輸入處理時啟用的參數約43億個。兩個數字分別代表模型總規模,以及實際處理輸入時啟用的參數規模。
模型採用 Nemotron 3.5 Lightning 作為語言模型基礎,並結合語音辨識與說話者區分元件。輝達先前曾公開面向企業代理任務的 Nemotron 3.5 Lightning。
模型權重以 BF16、FP8 和 NVFP4 格式發布於 Hugging Face。可下載權重不代表部署與營運成本也一併免除。
模型資料採用 OpenMDW-1.1 授權。重新發布時,須遵守授權條款,包括註明授權與來源。
輝達技術部落格介紹的多語語音資料集 Granary v2,其公開清單列出48種語言、16個來源語料庫及463,062小時資料。
這個時數是 Granary v2 公開清單所列的數字,與新模型實際使用的完整訓練語音時數並非相同指標。原始音訊仍須依各來源資料的授權條款另行取得。
模型卡指出,長時間錄音、多人重疊發言、背景噪音、專有名詞及語言混用等情境仍須另行檢查。實際應用時,應依錄音環境和各語言條件評估模型表現。
留言 0