Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

騰訊混元聚焦 Hy4 後訓練,計畫訓練更大型模型

玻璃板上並列繪製的 AI 模型架構圖 / TokenPost.ai (mono)

騰訊(0700)混元(Hunyuan)團隊表示,將持續投入 Hy4 後訓練與大規模強化學習,並計畫訓練規模更大的模型。

混元團隊於 21 日在 Reddit 公開問答中表示,Hy4 仍有很大的改善空間,尤其可透過後訓練提升表現。團隊說:「我們正投入大量資源進行大規模強化學習,也持續改善使用者體驗與模型安全性,並計畫訓練規模更大的模型。」

有開發者詢問,騰訊為何在參數規模達 7000 億左右後停止擴大模型。混元團隊回答:「Hy3 和 Hy4 顯示,訓練良好的小型模型也能勝過更大型的模型,成本也更低。」

騰訊公開的 Hy4 官方模型資料顯示,模型總參數量為 7700 億,每個 token 會啟用 490 億個參數。

騰訊於 16 日推出 Hy4 Flash,並表示在自家工作評測 WorkIndex 中,每項任務的成本是 Hy4 的二十分之一。Hy4 Flash 的總參數量為 2240 億,每個 token 啟用 120 億個參數;這項成本比較結果來自騰訊自家的評測。

公開問答也談到 Hy4 的設計過程。混元團隊表示,評估 GQA 和 MLA 後,最後選擇 MLA;在使用相同大小的暫存空間時,MLA 的模型品質較佳。團隊也說,導入 DSA 可降低生成回答時的運算負擔。

混元團隊指出,後訓練過程中較難修正的行為之一,是模型「過度思考」。團隊也表示,Hy4-mini 小型模型已列入開發路線圖。

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1