Back to top
  • 공유 分享
  • 인쇄 列印
  • 글자크기 字體大小
已複製網址

Hy4權重砍至214GB,騰訊推出輕量版模型

工作桌上放著小型SSD與大型儲存裝置 / TokenPost.ai

騰訊(Tencent)旗下的混元(Hunyuan)團隊公開了大型語言模型Hy4 preview的「輕量版」,將權重大小從原本的1.5TB大幅壓縮至約214GB。這次公開的重點,是降低開發團隊在自有環境中測試大型開放權重模型時,所面臨的儲存與部署負擔。

騰訊混元於9月1日表示,已推出將Hy4 preview權重從原本1.5TB壓縮至約214GB的輕量版模型。

這款輕量版被視為8月28日公開的Hy4 preview的後續作品。Hy4 preview是一款混合專家(MoE)模型,總參數量達7700億個,每個代幣(token)的活躍參數量為490億個,上下文長度則達到100萬個代幣。

騰訊在GitHub公開的文件中指出,Hy4 preview的設計目標涵蓋軟體開發、文件與試算表製作、金融分析、遊戲開發及科學研究等領域。模型權重已在Hugging Face、ModelScope、GitCode與CNB等平台公開,授權方式標示為Apache 2.0。

相較於性能數字,這次輕量化真正的重點在於「可部署性」。原始版本的模型需要龐大的儲存空間與推論運算資源。本站先前報導指出,Hy4 preview的原始版本是以8顆GPU平行運算為前提設計的。權重體積縮小後,開發團隊能在自有環境中測試的範圍也隨之擴大。

騰訊說明,壓縮後的長文本理解能力與原始版本幾乎相同,多輪長上下文檢索能力也大致維持同一水準。數學方面的表現略有下滑,但足以應付日常的程式撰寫輔助、工具呼叫、長文件處理與一般問答需求。

對韓國加密貨幣產業而言,這次公開的意義不在代幣價格,而在開發基礎建設。Web3開發團隊正持續把AI代理導入程式碼生成、文件分析、安全檢測與鏈上資料分析自動化等工作流程。先前其他中國模型公開時已可確認,面向開發者的AI基礎設施能運用於長篇程式碼生成與代理型任務。

不過,騰訊提出的性能比較數據是公司單方面的說明,實際開發現場的應用結果與外部複現驗證仍是另一回事。目前並沒有證據顯示,Hy4 preview與特定加密貨幣需求或代幣價格走勢之間存在關聯。

<版權所有 ⓒ TokenPost,未經授權禁止轉載與散佈>

最受歡迎

其他相關文章

留言 0

留言小技巧

好文章。 希望有後續報導。 分析得很棒。

0/1000

留言小技巧

好文章。 希望有後續報導。 分析得很棒。
1