Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

90億參數AURA 2.0可從影片主動開啟對話

筆記型電腦畫面中以方框標示的自行車車輪 / TokenPost.ai

華為研究(Huawei Research)、香港中文大學多媒體實驗室(CUHK MMLab)及香港科技大學(HKUST)的研究人員公布人工智慧模型AURA 2.0。模型能從影片中挑選適合交談的場景,在使用者提問前主動開啟對話,並支援即時影片問答、外部工具呼叫與畫面物件標示。

研究團隊在13日提交的技術報告中,列出模型主導對話(MIC)、影片情境式工具呼叫(SATC)及互動式視覺指定(IVG)三項核心功能。這些功能會一併參考影片內容與對話脈絡,決定何時發言、是否呼叫工具,以及如何指出畫面中的物件。

Hugging Face模型卡列出的模型規模為90億參數。研究團隊在技術報告中表示,模型以Qwen3.5-9B為基礎進行初始化。

先前的AURA會回答使用者提出的問題,或等待影片出現回答所需的場景;AURA 2.0則加入由模型主動發起對話的功能。

MIC會在沒有提問時,根據影片與先前對話判斷是否發言、何時發言及談論主題。模型也會參考既有對話,避免重複談論已經提過的內容。

SATC會同時考量目前畫面與對話內容,決定是否呼叫外部工具,再把工具回傳的資訊納入後續對話。這項功能讓模型能一併處理使用者的問題與影片中的情境。

IVG可辨識使用者在影片影格中標示的物件。模型也能用對齊影格位置的方框,也就是邊界框,標出回答中提及的物體。

模型也具備長影片記憶功能,能以文字摘要記錄重要事件,讓對話在離開當前時間範圍後仍保有相關脈絡。

研究團隊公布的訓練資料約包含114億個token、5400小時影片及4000萬個影格,用於訓練模型理解影片場景與對話脈絡。

研究團隊以25段影片進行MIC內部評估。在已有前文對話的條件下,模型在人工標記的25個發話機會區間中,有20個至少發言一次;回答品質平均為4.10分,滿分為5分。

僅提供影片的測試中,25段影片有24段出現至少一次模型發言,品質分數為3.62分。在這項測試產生的173次發言中,有15次被評為「差」。兩種條件的評估區間與評分方式不同,因此數值不能直接比較。

SATC內部評估使用55段影片相關的167個問題。啟用外部工具後,正確率從35.9%升至48.5%,增加12.6個百分點。研究團隊表示,最終答案由大型語言模型評分。

主動對話與工具呼叫的成果都來自規模有限的內部測試。研究團隊公布的數據是針對新功能所做的評估,與公開影片基準測試的成績不同。

模型權重採用CC BY-NC 4.0授權。Hugging Face模型卡將權重列為非商業研究用途;這項授權不會一併授予第三方資料集,以及其中影片等媒體的權利,因此權重使用條件與訓練資料權利須分開檢視。

研究團隊指出,主動開啟對話是否實用,可能因使用者偏好而異,並將納入更廣泛的互動脈絡與使用者偏好列為後續課題。vLLM-Omni程式庫於17日收到AURA 2.0支援的合併請求,截至19日尚未合併。

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1