QwenGyre 將 Qwen3.8 2.4T 模型強化學習時間縮短 44%

阿里巴巴研究團隊表示，將強化學習框架 QwenGyre 用於 Qwen3.8 2.4T 模型後，完成 48 個訓練階段所需時間較既有非同步方式縮短約 44%。在 GPU 預算相同的實驗中，訓練時間從 134.55 小時降至 75.42 小時。

QwenGyre 是為長時間執行任務的 AI 代理設計的強化學習框架。它會依據任務進度，重新分配代理執行任務的「rollout」與模型訓練所需的 GPU。

代理完成任務後，原先分配給它的 GPU 可轉用於模型訓練；仍在執行任務的代理則繼續使用其他 GPU。研究團隊指出，這項調度不必中斷任務，也能讓新增 GPU 加入正在進行的訓練。

研究團隊將程式碼撰寫等多階段任務列為主要應用對象。代理可能連續執行數小時，期間反覆呼叫模型與使用工具，因此各項任務所需時間可能不同。

既有同步訓練會等一批代理任務全部完成後才更新模型。研究團隊表示，先完成任務的代理所使用的 GPU，可能因此閒置，直到其他任務結束。

研究團隊指出，非同步訓練雖將任務執行與模型訓練分開，但 GPU 固定分配給兩項工作，難以彈性調度閒置資源。QwenGyre 則依任務完成順序將 GPU 轉回訓練，以降低這項限制。

研究團隊也採用減少訓練資料重複處理的方法。代理重試、壓縮紀錄或呼叫子代理時，執行路徑可能分成多條；不同路徑仍可能共用相同的模型輸出。

QwenGyre 會記錄每次模型呼叫的實際輸入與輸出，並將共享共同歷史的路徑整理為軌跡樹。訓練時則挑選有限路徑，避免重複計算相同的模型輸出。

即使任務因逾時結束，已完成且可驗證的部分結果仍可用於訓練。研究團隊表示，這能將代理重試與中斷時產生的執行紀錄納入訓練。

論文指出，Qwen3.8 2.4T 模型每項任務處理約 70 萬個 token。在 GPU 預算相同的 48 階段強化學習實驗中，QwenGyre 耗時 75.42 小時，既有非同步方式則耗時 134.55 小時。

在評估程式碼儲存庫生成能力的 NL2RepoBench 測試中，通過率從訓練前的 52.48% 升至訓練後的 58.54%。不過，論文也指出，QwenGyre 與既有訓練方式的訓練分數相近。QwenGyre 論文

阿里巴巴研究團隊公布了採用 GPU 重新分配與執行路徑去重後的訓練時間及基準測試通過率；結果來自該模型與實驗條件。此前，本站曾報導阿里巴巴 Qwen3.8 2.4T 模型已部署至中國超算互聯網。