AssemblyAI公開Agora通話即時轉錄範例，語音回覆須另行串接

AssemblyAI公開了將Agora通話語音即時轉為文字的Python伺服器範例，實作範圍僅到語音辨識（STT）。

AssemblyAI在9月30日發布的官方教學中，說明伺服器機器人如何以訂閱者身分加入Agora通話頻道並接收參與者音訊，再將音訊傳送至AssemblyAI的即時STT模型Universal-3.6 Pro Realtime。

Agora負責傳送通話音訊，AssemblyAI則負責轉錄。這種架構可在伺服器端串接語音辨識，不必修改既有通話程式。

範例會透過WebSocket傳送16kHz、16位元、單聲道PCM音訊，程式碼涵蓋音訊輸入與即時STT連線流程。

伺服器會輸出使用者說話期間產生的部分轉錄，以及發話結束後的最終轉錄。程式的處理流程到將轉錄結果顯示在畫面上便告一段落。

範例沒有提供能向通話對象朗讀回答的對話代理功能。程式碼尚未實作將最終轉錄傳給大型語言模型（LLM）以產生回答，或透過語音合成（TTS）將回答轉成音訊並送入通話頻道；使用者在代理回答期間插話時，也沒有中止播放的處理。

若要擴充成完整代理，需將最終轉錄傳給LLM產生回答，再轉成TTS語音送入通話。教學建議自行實作這段串接，或交由LiveKit、Pipecat等工具處理緩衝與插話中斷（barge-in）。

教學提到可存取LLM Gateway，但這份範例程式碼沒有呼叫該服務。因此，不能將它視為已完成LLM串接的範例。

另一份於2026年5月7日發布的教學採用不同架構，透過Voice Agent API的單一WebSocket串接STT、LLM與TTS，並處理插話中斷。

Pipecat是可串接STT、LLM與TTS流程的開源語音AI工具。本刊先前報導指出，Deepgram收購Daily後，Pipecat仍將維持開源。

截至30日查閱的AssemblyAI價格表，Universal-3.6 Pro Realtime的基本費用為每小時音訊0.45美元（約602韓元）。換算採用29日每1美元兌1,337.55韓元的匯率。此費用不含LLM、TTS與Agora的使用費。

AssemblyAI公布的5.19%詞錯誤率（WER），是以12,460份英文語音代理腳本進行的內部基準測試結果，並不代表Agora通話中的轉錄準確度，也不代表從STT到TTS的整體延遲時間。

音訊輸入規格說明有一處需要核對：教學指出，在16kHz下，160個取樣點相當於10毫秒的音訊影格；同一段落又列出STT輸入區塊的允許範圍為50至1,000毫秒。

範例程式每收到一個音訊影格就會傳送一次。部署到正式環境前，應核對區塊規格與API回應。

AssemblyAI建議，正式環境應為Agora機器人申請專用權杖，不要使用測試模式。