影片語言模型 ALIVE 能管理即時影片中的多項使用者請求,資訊不足時會追問;若畫面出現使用者指定的條件,也會主動發出通知。
清華大學(Tsinghua University)、北京大學(Peking University)、字節跳動(ByteDance)等機構的研究團隊,在11月17日上午1時35分(韓國時間)公開的 arXiv 論文中介紹 ALIVE。這項研究不是用來生成影片,而是讓模型觀看串流影片,並判斷何時回應。
論文指出,既有串流影片模型即使持續觀察畫面,也常把每個問題分開回答。ALIVE 的設計重點則是把使用者請求視為持續進行的任務,而非一次性的提問。
使用者可以要求模型監看特定場景或條件,之後也能修改或取消進行中的任務。模型亦可同時管理多項請求。
模型會判斷是否已收集到足以回答的影片證據,再決定何時回應。資訊不足時,它可以追問、請使用者在畫面中提供所需資訊,也可以先暫緩回答,直到取得足夠依據。
ALIVE 以 Qwen3-VL-8B-Instruct 為基礎模型。研究團隊依序採用對比式監督微調與強化學習。
第一階段訓練模型判斷何時回答、何時等待,以及如何組織回應。監督微調使用了288,436個互動範例。
第二階段則透過多輪對話,改善模型的判斷與回答能力。強化學習使用了3,523個互動範例。
研究團隊也使用另一個離線多模態模型製作訓練資料,整理影片中可作為回答依據的時間點、生成對話,並檢查資料品質。
研究團隊表示,ALIVE 在4項公開基準測試中的綜合分數高於比較模型:OVO-Bench為68.9%、StreamingBench為76.0%、IPIBench為40.3%,ProactiveVideoQA則為51.6。
前三項分數代表準確率,ProactiveVideoQA 的分數則是 PAUC。由於評估指標不同,這些數字不宜直接互相比較。
為了單獨評估追問能力,研究團隊自行建立 FSI-Bench,並以1,235段情境進行測試,涵蓋△154項監控建議△446項追問△459項要求使用者採取行動△176項直接回答。
在 FSI-Bench 中,ALIVE 的綜合準確率在明確選擇模式下為52.8%,自由回答模式下為54.0%。論文列出的自由回答模式人類基準分數為88.5%。
FSI-Bench 是研究團隊自行建立的評估集,回答準確度由固定的大型語言模型評審。因此,解讀這項自行評估的結果時,也須考量評估集與判定方式。
部分公開基準測試未列出所有比較模型的結果。論文表示,對於沒有官方結果的模型,研究團隊依照評估程式進行調整;論文未提供由外部單位獨立重現研究結果的資料。
開發團隊已公開 GitHub 儲存庫與 ALIVE-8B 檢查點,但儲存庫將訓練資料和 FSI-Bench 標示為「coming soon」。本機語音示範需要 Linux、Python 3.12與2個 GPU;語音辨識和語音合成則使用另外的模型。
Comment 0