輝達(NVIDIA,$NVDA)公布4套採用 AI Cluster Runtime(AICR)的維拉·魯賓(Vera Rubin)NVL72 Kubernetes 設定範本,適用於在實體伺服器上運作的裸機 RKE2 叢集。
輝達官方設定文件列出一般訓練、Kubeflow Trainer 訓練、一般推論及 Dynamo 推論四種路徑,目標都是維拉·魯賓 NVL72 實體機櫃。這些範本目前仍處於預覽階段,不適用於由雲端服務商管理的 Kubernetes 環境。
四種路徑都已發布驗證證據,但只有 Kubeflow Trainer 訓練路徑的證據與目前發布的範本相符,且已依現行設定完成三階段驗證。一般訓練、一般推論與 Dynamo 推論的證據則以舊版範本為基礎,不能視為對目前設定的驗證結果。
輝達在範本開發文件中表示,預覽版尚未具備正式支援所需的完整營運支援與生命週期驗證,因此不等同於承諾涵蓋升級及整體營運支援的正式營運版本。
AICR 會擷取既有叢集的作業系統、核心與 GPU 狀態快照,再依據這些狀態建立固定元件版本的設定範本與部署套件,並檢查安裝環境是否符合範本條件。
部署套件可透過 Helm、Argo CD、Flux、Helmfile 等既有工具套用。AICR 不會重新安裝叢集,也不負責管理實體伺服器。
輝達於10月6日發布 AICR v1.0,並說明命令列工具、REST API、Go SDK 與部署套件的相容性規則。這次預覽範本則示範如何透過該執行環境,設定並驗證維拉·魯賓實體機櫃的特定配置。
本刊先前曾報導運用 AICR 部署及驗證 Dynamo 的流程。當時介紹的 Amazon EKS 範本適用於 GB200、GB300 NVL72;這次公布的範本則限定於維拉·魯賓 NVL72 的裸機 RKE2 環境。
四種路徑都要求使用 Ubuntu 26.04,以及針對 Vera 調整的 64K 頁面核心。變更 GPU 節點的核心設定時,節點會重新啟動。
主機上執行的 nvidia-imex 服務也必須停用,並設定為不會重新啟動。裸機節點的復原及 BMC(基板管理控制器)操作則由營運人員負責。
訓練與推論路徑的版本條件不同:訓練需要 Kubernetes 1.34.1 以上版本;推論因 Gateway API 設定衝突,要求使用低於 Kubernetes 1.36.0 的版本。推論環境還須另行準備可在裸機環境運作的負載平衡器。
自動識別硬體也有其限制。AICR 目前無法自動識別 VR200,因此快照中的加速器類型可能記錄為「any」;建立範本時,營運人員必須指定 --accelerator vr200。
留言 0