騰訊(0700.HK)旗下混元(Hunyuan)推出參數規模達7700億的開源權重人工智慧(AI)模型「Hy4 preview」,以百萬token超長上下文與混合專家(MoE)架構為賣點,正式加入長文本處理與代理式(agentic)開發工具的公開模型競爭。
騰訊混元28日在公開文件中,將Hy4 preview定位為新一代大型語言模型。文件顯示,模型總參數量為7700億,每個token實際啟用的參數則為490億。
上下文長度設定為100萬token,設計重點放在長程式碼庫、多份文件與需要反覆推理的任務,讓模型能一次處理大量資訊而不中斷。
模型架構共78層,第一層採用一般的前饋神經網路(FFN),其餘77層則導入混合專家架構。
每一層配置256個路由專家與1個共享專家,每個token會啟用其中8個路由專家,加上固定啟用的共享專家。
混合專家架構的原理是不必每次動用全部參數,只呼叫任務所需的部分專家模組,藉此在拉高模型整體規模的同時,壓低單一token的實際運算量。
騰訊在GitHub公開文件中表示,Hy4 preview鎖定軟體開發、文件與試算表製作、金融分析、遊戲開發、科學研究等應用場景。文件並提到,公司內部163名工程師針對203項工程任務進行盲測,結果Hy4 preview平均得分2.99分,略高於GLM 5.3的2.92分與Kimi K3的2.94分。
程式撰寫能力是這次公開的比較焦點之一。南韓科技媒體《DigitalToday》報導,在騰訊公布的基準測試中,Hy4 preview在SWE Atlas Refactoring、SWE-bench Pro等部分測試項目的得分高於GPT-5.6 Sol。
評論:不過這項結果來自騰訊自行公布的基準測試,並不代表Hy4 preview在所有評測項目都領先對手,外部能否重現同樣成績、以及實際導入開發現場後的表現,仍是另一回事。
模型權重已釋出至Hugging Face、ModelScope、GitCode與CNB等平台,Hugging Face模型卡上標示授權為Apache 2.0。
騰訊同時上傳了Hy4 preview與FP8量化版本,並提供以vLLM、SGLang為基礎的部署方式,方便打算在自有機房運行模型的開發團隊參考。
服務層面的使用管道也一併開放。騰訊表示,Hy4 preview已可透過旗下WorkBuddy、CodeBuddy、元寶(Yuanbao)、ima等產品呼叫使用。
本社先前報導,Hy4 preview上線WorkBuddy後,因呼叫量攀升一度出現排隊等候,騰訊隨後擴充了推理叢集,顯示這次公開不只考驗模型效能,也同時考驗實際服務的承載能力。
對開發團隊而言,成本結構同樣值得留意。公開資料顯示,API價格以每100萬token計算,快取輸入為0.042美元,一般輸入為0.834美元,輸出則為2.501美元。
評論:大規模上下文與代理式呼叫容易讓輸入、輸出token用量快速堆疊,實際支出仍會依使用方式出現落差。
運行門檻同樣不低。原始模型需要大量推理運算資源,官方公布的部署範例即以FP8版本、8張GPU並行架構為前提。
騰訊也坦言,Hy4 preview仍是初期版本,處理複雜任務時可能出現推理時間拉長、或對結果過度反覆驗證等限制。評論:開源權重模型雖然讓外部開發者能直接取用並自行運行,但效能驗證與後續維運責任,也相應落到使用者身上。
對台灣加密貨幣產業而言,與這則新聞的交集不在代幣價格,而在開發基礎建設。不少Web3開發團隊正把AI代理導入程式碼生成、文件分析、資安檢查與鏈上數據分析等自動化流程。
開發者用AI基礎設施可用於長篇程式碼生成與代理式任務這一點,在先前其他中國陣營模型公開時已經得到印證。至於Hy4 preview的公開是否會帶動特定加密貨幣需求,目前尚未有相關依據可以佐證。
留言 0