RL權重重載延遲最高縮短5.7倍，輝達公開Reshard collective

輝達（NVIDIA，NVDA）公開Reshard collective，可將強化學習（RL）中把訓練GPU權重套用至推論GPU的延遲最多縮短5.7倍。輝達以自家NeMo RL測試時，權重重載（refit）時間比既有方法快2.7至5.7倍。

輝達於11月6日在技術部落格介紹這項新運算，以及開源參考實作NCCL M2N Reshard。RL後訓練會利用推論GPU產生的訓練軌跡更新訓練GPU上的模型。

若訓練與推論分別使用不同GPU，更新後的訓練權重便須定期傳送至推論GPU。這個傳送流程稱為權重重載；耗時過長可能拖慢模型更新頻率。

既有的全量收集再廣播（gather-and-broadcast）方式，會先把分散儲存在訓練GPU上的權重集中起來，組成完整張量，再傳送至推論GPU。推論GPU收到資料後，只保留實際需要的部分。

Reshard會計算來源端與目的端分區的重疊部分，直接傳送所需資料，減少重建完整張量及重複傳送資料的步驟。

這項設計可依訓練與推論使用的GPU數量及平行處理方式，計算分片權重的位置並進行搬移。輝達也展示，當多個推論GPU需要相同權重時，可先透過網路傳送一次，再透過GPU間的NVLink分配所需部分。

在NeMo RL測試中，DGX H100上的Qwen 3 235B模型，重載時間從6.4秒降至1.9秒；DeepSeek V3 671B則從14.9秒降至2.6秒。

在DGX GB200上，DeepSeek V3 671B的重載時間從6.1秒降至2.3秒；Nemotron Ultra V3則從8.2秒降至2.3秒。

比較基準是輝達測量的既有全量收集再廣播方式。改善幅度僅適用於權重重載延遲，不代表整體RL訓練時間或處理量也以相同比例改善。

另一項專門測量重載作業的微基準測試中，BF16格式的Qwen3.8 2.4T模型耗時4.3秒。這項數據只測量權重重載作業。

輝達表示，最新大型語言模型的前饋投影權重約占全部參數的95%。NeMo RL將Reshard用於這部分，其餘項目如QKV投影與Mamba權重則沿用既有流程。

NeMo RL也曾於7月22日討論非共享GPU之間的權重重載最佳化。此次發布則公開了Reshard參考實作與效能測量結果，與先前討論有所區別。

NCCL M2N Reshard在公開儲存庫中列為實驗性函式庫。儲存庫的Python套件說明要求使用NCCL 2.30.7，並指出其他NCCL版本尚未經過驗證。

vLLM文件提供一個使用4張H100 GPU，在訓練與推論之間搬移權重的M2N範例。這個範例展示使用方式，並非獨立重現輝達效能數據的結果。

輝達於11月6日發布的技術部落格也提到，NeMo RL在故障復原時會先銷毀通訊群組，再重新建立；部落格將這項復原流程列為目前實作的一部分。

一名使用者在公開議題#23回報，使用NCCL 2.30.7與nccl-extensions 0.1.0時，對端程序停止後，comm.abort()無法返回。發文者補充，NCCL 2.32-3也能重現此情況。