輝達(NVIDIA,$NVDA)推出 AI 資料中心營運軟體 Minerva,串聯 GPU、網路與儲存設備資料,以找出異常狀況。公司表示,初期部署後有效 GPU 時數增加 2%。
輝達於 26 日在技術部落格介紹 Minerva 的運作方式與案例。網路軟體頁面也列出初期部署成果,包括平均故障間隔時間(MTBI)增加 20%、平均修復時間(MTTR)減少 63%,以及警報雜訊最多減少 99.9%。各項數據的樣本規模、比較基準與測量期間均未公開。
輝達表示,Minerva 會蒐集 GPU、Spectrum-X 與 NVLink 交換器、SuperNIC、DPU、儲存設備、NCCL、排程器及 AI 工作的指標、日誌與拓撲資訊,並將資料連結成動態更新的知識圖譜,以追蹤設備異常及受影響的工作。公司稱,系統每小時可處理數十億筆指標與日誌資料點。
輝達指出,分散式訓練的速度可能受最慢的 GPU 或連線路徑限制,因此單一設備效能下降,也可能讓其他 GPU 等待。若網路、運算與 AI 工作團隊各自掌握的資料彼此分散,排查原因可能需要更多時間。
輝達表示,Minerva 的設計目標是連結僅靠預設閾值不易發現的異常及受影響工作。輝達技術部落格舉例,在一座約有 40 萬個介面的資料中心中,Minerva 找出一條效能下降的 NVLink 連線及相關訓練工作。
內建的 AI 助理 Sherlock 可透過自然語言查詢叢集狀態、異常、事故與拓撲。輝達使用者指南表示,Sherlock 會依據 Minerva 的即時資料回答相關問題。
在另一個案例中,輝達表示,NVMe 儲存裝置未能從低功耗狀態正常喚醒,導致多項訓練工作延遲。公司估計,隔離問題設備後,可節省約 5,530 小時的工作執行時間。這是輝達提出的單一案例估算值。
輝達表示,Minerva 可補充 Mission Control 既有的觀測功能。Mission Control 發布文件將 Minerva 1.0.0 列為預發布 Beta 元件,採限額參與方式提供。
留言 0