Salesforce數學與程式碼實驗：總訓練運算量減少42.0%

Salesforce（CRM）AI研究團隊的一項實驗顯示，先分別訓練數學與程式碼專家模型，再將能力整合至單一模型，總訓練運算量比同時對兩個領域進行強化學習的做法少42.0%，表現則相近。

研究團隊於6日將預印本《Unpacking the Compute Efficiency of Strong-to-Weak OPD against GRPO》公開於arXiv，並在論文中比較評測資料的準確率與累積訓練FLOPs。

研究團隊先分別訓練數學與程式碼專家模型，再透過多教師在策略蒸餾（OPD），將兩者能力整合至一個學生模型。學生模型經訓練後，準確率可回到各專家模型的水準。

專家模型使用群體相對策略最佳化（GRPO）訓練。這種方法根據多個回答的相對表現，對模型進行強化學習。

在策略蒸餾（OPD）則由學生模型自行生成回答，再由教師模型提供逐詞元的學習訊號。在這項實驗中，數學與程式碼專家模型擔任學生模型的教師。

訓練兩個領域的專家模型共耗用10.7 EFLOPs，整合至學生模型則額外耗用0.55 EFLOPs。蒸餾階段的運算量約為專家模型訓練量的5.2%。1 EFLOP代表10¹⁸次浮點運算。

42.0%並非只計算蒸餾階段的節省幅度。這項比較將專家模型訓練與整合所需運算量合計，再與同時訓練數學和程式碼的共同GRPO方法比較。

研究團隊也將實驗擴展至四個領域，在數學和程式碼之外加入知識評測與指令遵循。

訓練四個領域的專家模型共耗用14.4 EFLOPs，整合至學生模型則額外耗用1.15 EFLOPs。整合階段的運算量為專家模型訓練量的8.0%。

在這項設定中，整合模型的表現與共同GRPO的instance-mix基準相近，總FLOPs則減少31.6%。研究團隊將專家模型訓練和整合的運算量都納入計算。

在單一領域實驗中，若以學生模型自身的GRPO檢查點作為教師，蒸餾階段恢復數學表現所需的運算量，最多比GRPO訓練少50倍。這項比較只計算蒸餾階段的運算量。

單一領域實驗使用的教師GRPO檢查點本身已是目標模型，因此若把訓練檢查點的成本也計入，就不能據此認定只靠蒸餾便能降低總運算量。整合多個領域時，各領域專家具備不同能力，單一專家模型較難涵蓋所有領域。

在研究團隊比較的設定中，使用外部獨立訓練教師模型的OPD，每單位運算量所達到的準確率大多低於GRPO。部分實驗也出現學生模型回答長度超出所需的情況。

這項研究比較的是訓練階段測得的運算量。論文以arXiv預印本形式公開，沒有測量實際雲端成本或電力使用量是否也按相同比例降低。