Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

7700億參數模型公開權重:騰訊控股(Tencent, 0700.HK)混元(Hunyuan) Hy4支援104萬8576個Token

開發者手部正連接存有模型權重的外接 SSD/TokenPost.ai (mono)

騰訊控股(Tencent, 0700.HK)混元(Hunyuan)團隊於20日公開多模態人工智慧模型 Hy4 的模型權重。該模型的語言骨幹含7700億個(770B)參數,正式版本支援最多104萬8576個 token 的上下文,開發者可下載後在自有環境執行。

此次公開的版本包括指令型 Hy4、FP8量化版 Hy4-FP8,以及預訓練基礎模型 Hy4 base。三個模型的權重已上架 Hugging Face、ModelScope 與 GitCode,System Card則另行公開。

Hy4採用混合專家(MoE)架構;以語言骨幹計算的7700億個參數中,每個 token 啟用490億個。整體參數量與每個 token 啟用的參數量是不同數字,490億個並不代表模型整體規模。

語言骨幹由78層組成。第一層為一般 FFN,其餘77層為 MoE FFN;每個 MoE 層配置256個路由專家和1個共享專家,每個 token 會啟用8個路由專家及共享專家。

Hy4不僅處理文字,也能處理圖片和影片。視覺編碼器含12億3000萬個參數,協助推理的 DFly2 草稿模型規模為33億個參數。

為處理長上下文,Hy4採用 Gated DeepSeek Sparse Attention 與 IndexCache。索引器會在完整上下文中選取最多2048個 token,整體上下文長度設定為104萬8576個 token。

官方部署流程支援 vLLM 與 SGLang。騰訊提供的 vLLM 執行範例,是在 Hy4-FP8 上採用8路張量平行配置,並套用 OpenAI 相容 API。

授權並非 Apache License 2.0,而是 Tencent Hy License 1.0。依授權條款,微調、量化、蒸餾、合併與剪枝模型等均被定義為衍生物。

模型即服務(MaaS)業者若在任何連續12個月期間的全球總收入超過5000萬美元(約666億韓元),或使用該模型的產品、服務在任何一個月份月活躍用戶超過1億人,便需要另行取得書面授權。不向第三方提供模型、衍生物或其輸出的純內部使用則屬例外。

騰訊在11月4日的官方公告中表示,先以服務形式推出 Hy4,幾天內再釋出權重與 System Card。此次公開權重,代表其依照當時計畫執行。

不同於先前透過 API 提供 Hy4 Preview 的案例,這次可下載模型權重並在自有基礎設施執行,形成服務呼叫與自行部署並行的架構。

騰訊混元團隊與騰訊金融科技共同進行的金融評估,包括來自主要金融機構的153名專家在內,共213人參與。騰訊表示,在579項金融任務中,Hy4平均得分3.04分(滿分4分),在納入比較的開放權重模型中最高。

這項評估由騰訊主導,屬公司評估,須與外部獨立驗證結果區分。官方模型卡說明,Hy4相較預覽版提升視覺理解、長上下文理解與長期任務執行能力,但在研究級數學、長程程式設計、模型自我改進及高難度視覺問答方面,與頂尖閉源模型仍有差距。

System Card的安全性評估同樣由騰訊研究與安全組織完成。因此,安全性數據不能解讀為外部獨立機構的可重現驗證結果。

7700億個參數不包含視覺編碼器與 DFly2,這是語言骨幹的數值。即使每個 token 只啟用490億個參數,仍須持有並部署完整權重,因此不能簡單以490億參數模型估算執行成本與記憶體需求。

此次公開資料未提及與虛擬資產或區塊鏈直接相關的內容,也未提供特定 GPU 供應合約或晶片使用量資訊。公告重點集中在模型權重、部署途徑與授權條件。

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1