Mistral Voxtral Mini 說話者分離評測第2，Small 排第4

Mistral AI 的語音轉錄模型「Voxtral Mini Transcribe 3」在說話者分離評測中，於9款模型裡排名第2；同公司的「Voxtral Small Transcribe 3」排名第4。

Voice Arena 22日公布兩款模型的評測結果。測試以139段經人工確認的英文對話為對象，測量說話者分離錯誤率（DER）。

評測資料包括115段面對面對話和24段線上通話。測試採用實際對話錄音，而非朗讀稿件，比較模型區分說話者的能力。

評測方沒有事先告知模型對話參與者人數，也未另外整理錄音檔。對齊發言起迄時間時，評測也沒有設定容許誤差區間。

說話者分離不只是把語音轉成文字，還要辨別「誰在什麼時候說話」。DER會計入漏掉發言的時間、把非語音區段誤判為語音的時間，以及錯誤指派說話者的時間；數值愈低，代表錯誤愈少。

兩款模型的排名會因錄音環境而異。在面對面對話中，Mini 的錯誤率為40.6%，Small 為41.5%；在線上通話中，Small 為39.1%，略低於 Mini 的39.5%。

因此，整體排名無法說明模型在所有錄音環境下的差異。Mini 在面對面對話中表現較佳，Small 在線上通話中的錯誤率則略低。

兩款模型正確判斷對話參與者人數的比例均為83.5%。判斷說話者人數，與透過DER確認每段發言是否正確指派說話者，是不同的評量項目。

Mini 的整體說話者分離錯誤中，有82%來自漏掉發言。兩人同時說話的區段，也是兩款模型較難處理的部分。

說話者分離能力與聽寫能力應分開看。字詞錯誤率（WER）衡量辨識出的字詞與正確答案有多大差異，因此不能直接與DER比較。

Artificial Analysis 的非即時語音轉文字評測，以三個資料集的加權平均計算 AA-WER：AA-AgentTalk占50%，VoxPopuli-Cleaned-AA和Earnings22-Cleaned-AA各占25%，評測音訊總長約8小時。

Artificial Analysis 的評測結果顯示，Mini 的 AA-WER為2.2%，排名第5；Small 為2.1%，排名第3。在這項獨立評測中，Small 的字詞辨識錯誤率較低。

Mistral AI 20日發布 Voxtral 3 產品系列，Mini 配備40億個參數並支援批次轉錄。本刊先前曾報導Mistral AI 發布語音模型及轉錄費率。

Mistral AI 的產品公告列出的批次轉錄 API 費率為：Mini 每分鐘0.0035美元（約4.64韓元），Small 每分鐘0.004美元（約5.31韓元）。兩款模型在說話者分離與字詞辨識評測中的結果各有不同。

Mistral AI 表示，轉錄模型支援超過50種語言，其多語言評測也納入韓語。不過，Voice Arena 這次的說話者分離評測只測試英文對話，因此不能用這項排名判斷模型的韓語說話者分離能力。