4款韓國AI模型部署配方公開　輝達列出B200配置

4款韓國AI模型的Dynamo部署配方已公開，列出各模型所需的B200 GPU數量，以及整合式與分離式執行配置。

輝達（NVIDIA，NVDA）8日在官方部落格表示，已公布適用於SK電信（SK Telecom，017670）的A.X K2、LG AI研究院（LG AI Research）的K-EXAONE 2.0、Upstage的Solar Open 2，以及Motif Technologies的Motif-3配方。

Dynamo是開源推論框架，可在多個節點上提供大型模型服務，並協調請求路由與GPU間通訊，讓模型在分散式運算資源上執行。

輝達表示，這些配方在基本設定下可讓效能提升最高2倍。不過，部落格未列出比較設定或測試工作負載，因此不能將這項數據概括為4款模型各自都能提升2倍。

A.X K2配方列出整合式配置使用8張B200，分離式配置使用12張。兩種設定分別採用整合式工作者，或將輸入處理與輸出生成工作者分開配置。

Dynamo配方清單及各模型文件列出K-EXAONE 2.0與Solar Open 2的4張及8張B200配置。Motif-3配方則列出整合式配置使用2張、分離式配置使用8張B200。

整合式配置在同一配置中處理輸入與生成輸出；分離式配置則將兩項工作分配到不同GPU資源。

K-EXAONE 2.0文件公布了使用1,805筆聊天追蹤資料的測試結果。4張B200的整合式配置，使用者輸出速度中位數為每秒51.4個token，首個token延遲時間中位數為291ms。

8張B200的分離式配置，使用者輸出速度中位數為每秒54.9個token，首個token延遲時間中位數為2,230ms。兩種配置的並行數設定分別為7與14。

文件排除了超過最大上下文長度262,144個token的38筆請求。由於GPU數量與並行數設定不同，兩組結果難以視為相同條件下的直接比較。

Solar Open 2文件指出，預設的Dynamo 1.4.1 vLLM執行環境不支援該模型，因此需要另行建置執行環境映像檔。這項配方也包含準備執行環境的條件。

Motif-3配方在文件中標示為實驗階段。文件說明，效能表採用合成token接受長度進行測量，並非實際的推測解碼結果。

A.X K2文件列出的部署前提包括已安裝Dynamo平台的Kubernetes叢集與共享儲存。分離式配置還需要InfiniBand資源，以支援NIXL與UCX資料傳輸。

韓國科學技術情報通信部將這4款模型介紹為參與獨立AI基礎模型計畫企業的模型。輝達此次資料聚焦於透過Dynamo部署這些模型的設定。

此次公布的是各模型的部署配方，並未說明客戶實際採用的規模。公開的效能數據也須連同各模型的硬體與測量條件一併檢視。

本刊先前曾報導在既有Kubernetes叢集部署並驗證Dynamo的AICR流程，當時聚焦於基礎設施配置與驗證步驟；此次資料則列出4款韓國AI模型的GPU配置與推論設定。