騰訊(0700)混元(Hunyuan)團隊表示,將持續投入 Hy4 後訓練與大規模強化學習,並計畫訓練規模更大的模型。
混元團隊於 21 日在 Reddit 公開問答中表示,Hy4 仍有很大的改善空間,尤其可透過後訓練提升表現。團隊說:「我們正投入大量資源進行大規模強化學習,也持續改善使用者體驗與模型安全性,並計畫訓練規模更大的模型。」
有開發者詢問,騰訊為何在參數規模達 7000 億左右後停止擴大模型。混元團隊回答:「Hy3 和 Hy4 顯示,訓練良好的小型模型也能勝過更大型的模型,成本也更低。」
騰訊公開的 Hy4 官方模型資料顯示,模型總參數量為 7700 億,每個 token 會啟用 490 億個參數。
騰訊於 16 日推出 Hy4 Flash,並表示在自家工作評測 WorkIndex 中,每項任務的成本是 Hy4 的二十分之一。Hy4 Flash 的總參數量為 2240 億,每個 token 啟用 120 億個參數;這項成本比較結果來自騰訊自家的評測。
公開問答也談到 Hy4 的設計過程。混元團隊表示,評估 GQA 和 MLA 後,最後選擇 MLA;在使用相同大小的暫存空間時,MLA 的模型品質較佳。團隊也說,導入 DSA 可降低生成回答時的運算負擔。
混元團隊指出,後訓練過程中較難修正的行為之一,是模型「過度思考」。團隊也表示,Hy4-mini 小型模型已列入開發路線圖。
Comment 0