SK海力士(SK hynix,$SKHY)展示一套AI機櫃系統,可整合高頻寬記憶體(HBM)以外的記憶體資源供多台伺服器共用。Solidigm與Metrum AI展示將AI處理資料存入SSD的做法;Nallasway則提出將外接DRAM連接至AI處理器的構想。
開放運算計畫(Open Compute Project,OCP)全球峰會於10月12日至15日在美國加州聖荷西舉行。OCP公布的活動統計顯示,參與者約1萬5000人。
SK海力士展示的記憶體為核心AI機櫃系統(MARS),將多家業者的設備與解決方案整合至同一機櫃,並以記憶體為核心配置。公司表示,這套系統可讓多台伺服器依需求從記憶體池取用資源。
公司也展示採用CXL 3.2的第二代CMM-DDR5模組,容量為256GB,頻寬為每秒80GB。SK海力士表示,與前一代相比,模組頻寬提升兩倍以上,能源效率約提升30%;這項效率數據是模組間的比較。
CXL是用於連接伺服器內CPU、GPU與外接記憶體等元件的標準。記憶體池化則是把連接的記憶體整合成一個資源池,供多台伺服器或處理器分配使用。
SK海力士也介紹與NAVER Cloud進行的概念驗證,測試AI代理環境能否共享KV快取,以及多模態服務「OmniServe」能否共享嵌入向量。
KV快取是大型語言模型處理先前輸入時,暫存計算結果的資料。對話越長、工作步驟越多,需要保存的資訊也越多,因此記憶體容量與處理方式格外重要。
在MARS的其中一項展示中,SK海力士與Arcee、Liqid及Marvell將多台伺服器和GPU連接至記憶體池。SK海力士表示,透過CXL記憶體池傳送或重用KV快取,展示出比依賴網路通訊的既有方式更好的系統效能。
SK海力士也與AMD、Penguin、Xcena及Arcee展示結合CXL記憶體、DRAM和SSD的記憶體機櫃。系統會根據工作歷程預測所需的KV快取,先載入DRAM;完整快取則存放在SSD,需要時再讀取。
SK海力士還與個人AI代理服務業者Pickle展示利用記憶體池降低回應延遲的方式。公司表示,這種以記憶體池為基礎的串流傳輸,可加快多個AI模型之間的資料傳送。MARS展示內容也列在OCP官方的峰會錄影資料中。
Solidigm與Metrum AI在共同展示中利用共享SSD池儲存KV快取。這種做法會把已處理的資料移至SSD層,需要時再讀取,而非將所有資訊都放在靠近處理器的高價記憶體中。
首個Token生成時間是使用者提問後,AI產生第一個回應所需的時間。Crypto Briefing報導,這項共同展示中的首個Token生成時間最多縮短64.8倍,處理量提高40.7倍,GPU每次請求的能源使用量則比既有方式低26.5倍。
同一報導也提到,Nallasway提出在涵蓋AI處理器的XPU上直接連接外部DRAM模組,並採用LPDDR5X,將記憶體容量擴充至3.2TB。
SK海力士也展示下一代記憶體內運算解決方案CMM-Ax。公司表示,這項技術可在不搬移資料的情況下直接於記憶體內運算,降低電力與成本負擔;展示內容也包括加速處理長上下文推論。
先前報導曾探討SK海力士在HBM市場的市占率;這次展示則聚焦如何在伺服器中配置並共享記憶體。若要結合CXL記憶體池、DRAM與SSD,軟體也必須判斷各類資料的存放位置與搬移時機。
目前公開內容仍是產品構想與展示。實際導入還需要軟體管理不同記憶體層級中的資料配置與移動。
Comment 0