首個 Token 生成時間縮短約 81%：SK 海力士測試共享記憶體

SK 海力士（SK hynix，$SKHY）提出讓多台 AI 伺服器共用額外記憶體的架構。在重複推論測試中，使用遠端 CXL DRAM 時，首個 Token 的生成時間比重新計算縮短約 81%。

SK 海力士於 12 日在首爾舉行的「2026 Intel AI Summit Seoul」公布這項構想。ChosunBiz 英文版也報導了這場活動與測試結果。

目前 AI 伺服器通常將高頻寬記憶體（HBM）配置在圖形處理器（GPU）附近，以便處理資料。但 GPU 周邊可增設記憶體的空間有限。

SK 海力士提出的共享記憶體池，會將大容量記憶體放在獨立機架，供多台伺服器共同使用。這項設計著重於增加記憶體容量，不取代現有伺服器配置。

各伺服器仍會使用自己的記憶體。一台伺服器完成工作後，可將中間結果存入共享記憶體，再由負責下一項工作的伺服器讀取並重用。

英特爾（Intel，$INTC）提出，在代理式 AI 系統中，由 CPU 分類請求並分派工作，GPU 負責模型運算。即使是單次請求，也可能依序包含搜尋、執行程式與確認結果等多個步驟。

這類工作會用到 KV 快取。AI 模型在延續對話或任務時，會暫存先前計算的內容，供後續推論使用。

對話越長，KV 快取也會越大。GPU 記憶體不足而必須移出已儲存內容時，後續工作可能得重新計算相同內容。

在 SK 海力士的重複推論測試中，清除快取並重新計算，平均需要 80.76 秒才能生成首個 Token；將快取存放在外接 SSD 時為 33.56 秒，存放在遠端 CXL DRAM 時則為 15.45 秒。

約 81% 的縮短幅度，是比較重新計算與使用遠端 CXL DRAM 的結果。這是特定測試中生成首個 Token 所需時間的差異，不代表 AI 服務整體處理速度也提升相同比例。

Compute Express Link（CXL）是一種讓 CPU 或 GPU 存取外部記憶體的連接規格。SK 海力士測試了運用遠端 CXL DRAM，讓多台伺服器共用記憶體資料的方式。

SK 海力士副總裁暨系統架構負責人 Joo Young-pyo（주영표）表示：「從遠端記憶體取用資料，所需時間會比從直接連接 GPU 或 CPU 的記憶體取用更長，但效能仍遠勝重新計算。」他的說法指出，即使遠端記憶體會增加延遲，減少重新計算仍可能帶來效能改善。

SK 海力士與英特爾持續合作開發伺服器記憶體。SK 海力士於 2025 年 12 月宣布，業界首度完成 256GB DDR5 RDIMM 的 Intel Xeon 6 平台資料中心認證。

當時的認證是驗證伺服器記憶體模組與英特爾平台的相容性；這次提出的構想，則是讓多台伺服器共同使用獨立機架記憶體的系統架構。

SK 海力士目前正與客戶及合作夥伴驗證記憶體共享技術，也與英特爾從系統設計階段開始合作。