Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

SK海力士(SK hynix,$SKHY)展示CXL記憶體共享 SSD儲存KV快取

開放運算設備內並排放置的記憶體模組與SSD / TokenPost.ai (mono)

SK海力士(SK hynix,$SKHY)展示一套AI機櫃系統,可整合高頻寬記憶體(HBM)以外的記憶體資源供多台伺服器共用。Solidigm與Metrum AI展示將AI處理資料存入SSD的做法;Nallasway則提出將外接DRAM連接至AI處理器的構想。

開放運算計畫(Open Compute Project,OCP)全球峰會於10月12日至15日在美國加州聖荷西舉行。OCP公布的活動統計顯示,參與者約1萬5000人。

SK海力士展示的記憶體為核心AI機櫃系統(MARS),將多家業者的設備與解決方案整合至同一機櫃,並以記憶體為核心配置。公司表示,這套系統可讓多台伺服器依需求從記憶體池取用資源。

公司也展示採用CXL 3.2的第二代CMM-DDR5模組,容量為256GB,頻寬為每秒80GB。SK海力士表示,與前一代相比,模組頻寬提升兩倍以上,能源效率約提升30%;這項效率數據是模組間的比較。

CXL是用於連接伺服器內CPU、GPU與外接記憶體等元件的標準。記憶體池化則是把連接的記憶體整合成一個資源池,供多台伺服器或處理器分配使用。

SK海力士也介紹與NAVER Cloud進行的概念驗證,測試AI代理環境能否共享KV快取,以及多模態服務「OmniServe」能否共享嵌入向量。

KV快取是大型語言模型處理先前輸入時,暫存計算結果的資料。對話越長、工作步驟越多,需要保存的資訊也越多,因此記憶體容量與處理方式格外重要。

在MARS的其中一項展示中,SK海力士與Arcee、Liqid及Marvell將多台伺服器和GPU連接至記憶體池。SK海力士表示,透過CXL記憶體池傳送或重用KV快取,展示出比依賴網路通訊的既有方式更好的系統效能。

SK海力士也與AMD、Penguin、Xcena及Arcee展示結合CXL記憶體、DRAM和SSD的記憶體機櫃。系統會根據工作歷程預測所需的KV快取,先載入DRAM;完整快取則存放在SSD,需要時再讀取。

SK海力士還與個人AI代理服務業者Pickle展示利用記憶體池降低回應延遲的方式。公司表示,這種以記憶體池為基礎的串流傳輸,可加快多個AI模型之間的資料傳送。MARS展示內容也列在OCP官方的峰會錄影資料中。

Solidigm與Metrum AI在共同展示中利用共享SSD池儲存KV快取。這種做法會把已處理的資料移至SSD層,需要時再讀取,而非將所有資訊都放在靠近處理器的高價記憶體中。

首個Token生成時間是使用者提問後,AI產生第一個回應所需的時間。Crypto Briefing報導,這項共同展示中的首個Token生成時間最多縮短64.8倍,處理量提高40.7倍,GPU每次請求的能源使用量則比既有方式低26.5倍。

同一報導也提到,Nallasway提出在涵蓋AI處理器的XPU上直接連接外部DRAM模組,並採用LPDDR5X,將記憶體容量擴充至3.2TB。

SK海力士也展示下一代記憶體內運算解決方案CMM-Ax。公司表示,這項技術可在不搬移資料的情況下直接於記憶體內運算,降低電力與成本負擔;展示內容也包括加速處理長上下文推論。

先前報導曾探討SK海力士在HBM市場的市占率;這次展示則聚焦如何在伺服器中配置並共享記憶體。若要結合CXL記憶體池、DRAM與SSD,軟體也必須判斷各類資料的存放位置與搬移時機。

目前公開內容仍是產品構想與展示。實際導入還需要軟體管理不同記憶體層級中的資料配置與移動。

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1