輝達公開 Dynamo 部署與驗證流程，AICR 支援 Kubernetes 叢集

輝達（NVIDIA，NVDA）公開在既有 Kubernetes 叢集部署並驗證 Dynamo 分散式推論環境的流程，透過依不同環境整理的設定配方，整合 GPU 工作節點、請求路由等元件。

輝達於 30 日在技術部落格說明如何使用 AI 叢集執行環境（AI Cluster Runtime，AICR）部署。Dynamo 是一套協調多個 GPU 工作節點進行模型服務的分散式推論框架；AICR 則用來一併設定支援 Dynamo 的元件與基礎架構。

AICR 設定配方會記錄元件版本、設定、相容條件與驗證項目。AICR 可設定並檢查既有叢集，但不會從頭建立叢集。

流程從記錄叢集狀態快照開始。AICR 會辨識 Kubernetes 部署環境、GPU 與作業系統，再依照這些條件產生適用的 Dynamo 設定配方。

產生的配方會轉成部署套件再安裝。營運人員可透過 Helmfile、Helm 或 GitOps 部署，並確認叢集是否符合配方列出的條件。

配方涵蓋 NVIDIA GPU Operator、Node Feature Discovery、DRA GPU 驅動程式、KAI Scheduler、Grove、監控工具 Prometheus，以及 Dynamo 平台等元件，可一併設定 GPU 資源分配、排程與監控等功能。

輝達以亞馬遜（Amazon）EKS 搭配 GB200、GB300 NVL72 的環境為例，採用 AICR v1.0.0。該組態指定 Dynamo 平台圖表 1.4.2、GPU Operator 26.7.1，以及 DRA GPU 驅動程式 0.5.0。

這組版本搭配是針對該 GPU 與雲端環境提出的範例。實際安裝時仍須確認叢集中的 GPU、作業系統與支援的組合；安裝指南也建議透過 aicr recipe list 查詢支援的組態。

請求有兩種路由方式。由 Dynamo 前端直接選擇工作節點的組態，所需元件相對較少。

若使用共用的 Kubernetes Ingress，則由 Dynamo EPP 選擇工作節點端點，再由閘道轉送請求。工作節點選擇與請求轉送分別由不同元件負責。

部落格也介紹利用工作節點儲存的 KV 快取狀態進行路由設定。KV 快取是用來保存中間資料，避免模型再次處理先前脈絡。

TokenPost先前曾報導，KV 快取可移轉至儲存裝置。輝達這次公布的內容則著重於如何在 Kubernetes 上建置並驗證 Dynamo 環境。

AICR v1.2.0-rc0 驗證指南指出，dynamo-router 的預設模式為 least-loaded。AICR 版本發布清單將 v1.2.0-rc0 標示為預先發布版本。

驗證流程會先檢查已安裝元件的狀態，以及 GPU 資源分配、排程等 Kubernetes 功能；實際推論效能則在另一個使用 GPU 的階段驗證。

配方中的 STATUS: pass 表示設定在結構上有效，且圖表版本已固定，並不代表已在實際硬體上完成推論效能驗證。

Dynamo 的AICR 安裝指南要求使用 Kubernetes 1.34 以上版本及 DRA，並以 AICR v1.1.2 為基準指定 Dynamo 平台圖表 1.4.2。指南建議使用與已安裝平台版本相符的推論執行映像檔，並在部署狀態與功能驗證通過後再部署模型。