SanDisk(SNDK)把人工智慧(AI)推理過程中的「KV快取」定位為NAND快閃記憶體需求的新成長點,公司公布的核心數字是2027年NAND需求可能因此增加75~100艾位元組(EB)。
KV快取是大型語言模型(LLM)用來保存先前對話脈絡、避免重複運算的中間資料。隨著對話長度拉長、同時連線數增加,圖形處理器(GPU)內建的高頻寬記憶體(HBM)恐怕不足以獨力承擔這些資料量。
Crypto Briefing報導指出,SanDisk預期到2030年,KV快取可能占AI資料中心NAND工作負載的35%;不過這項數字並未出現在SanDisk官方新聞稿中,目前無法確認。
可確認的官方數字來自公司財報。SanDisk在2026年1月29日公布財報時表示,2027年KV快取需求可能帶動75~100EB的額外NAND需求,隔年這個數字有機會翻倍。公司同時說明,這項預估尚未反映在自家的需求展望中。
KV快取直接牽動AI推理的成本與回應速度。模型在處理先前對話或長文件時,若每次都重新運算全部脈絡,GPU運算量與記憶體用量都會跟著增加。因此業界正在討論把部分資料下放到HBM以外的儲存層。
三星電子(Samsung Electronics)在官方半導體部落格中,把KV快取卸載形容為AI推理面臨的儲存瓶頸問題。慧與科技(Hewlett Packard Enterprise,HPE)也介紹了分層使用HBM、中央處理器(CPU)記憶體與NVMe固態硬碟(SSD)的架構。
SanDisk傳達的訊息不只是「多賣一點NAND」這麼單純,而是主張儲存裝置在AI基礎設施中,除了保存訓練資料,還能扮演推理過程中的脈絡儲存角色。這也呼應本站先前報導的輝達推理資料瓶頸緩解趨勢。
SanDisk在2026年7月2日發布BiCS10 1Tb TLC 3D NAND樣品,宣稱該產品介面速度最高可達4.8Gb/s,位元密度較BiCS8提升59%,輸入功耗降低10%、輸出功耗降低34%。
這款產品鎖定的正是AI資料中心需要以更低功耗處理更多脈絡資料的場景。對推理服務來說,隨著使用者需求增加,運算之外,資料搬移與儲存層效率同樣左右成本結構。
與SK海力士(SK hynix)的合作也走在同一條路線上。SanDisk與SK海力士已於2025年8月6日簽署合作備忘錄,共同推動高頻寬快閃記憶體(HBF,High Bandwidth Flash)標準化。
SanDisk規劃在2026年下半年推出首批HBF樣品,2027年初推出搭載HBF的首款AI推理裝置樣品。HBF被形容為在頻寬上看齊HBM的同時,以相近成本提供8至16倍容量的技術。
本站先前也報導過SK海力士與SanDisk公開首份HBF標準規格,當時公開的規格支援最高512GB容量、約0.4~3.0TB/s頻寬。
不過,快閃記憶體並不會就此直接取代HBM。快閃記憶體在寫入耐用度與延遲上,與HBM存在不同限制。業界討論的重點也不是SSD取代GPU記憶體,而是哪些工作負載可以下放到哪一層儲存裝置。
經濟效益會因快取命中率、脈絡長度、同時連線的工作階段(session)數量與資料保存時間而不同。同樣是AI推理,短查詢為主的服務與反覆使用長脈絡的服務,儲存層帶來的效益也會不一樣。
SanDisk於2025年2月24日完成與威騰電子(Western Digital)的分割,正式在那斯達克(Nasdaq)以SNDK獨立掛牌交易。公司提出的KV快取需求與HBF時程顯示,AI推理基礎設施的關注焦點正從單純的運算效能,擴大到記憶體容量與資料搬移架構。實際的NAND需求與營收影響,仍須透過產品樣品驗證與資料中心導入結果來確認。
驗證來源:Crypto Briefing、SanDisk投資者關係資料、SanDisk BiCS10發表資料、三星電子半導體部落格、HPE開發者部落格。
留言 0