AI運算瓶頸轉向先進封裝與記憶體管理

AI運算基礎設施的瓶頸，正從半導體效能競爭轉向先進封裝、系統互連與記憶體管理。

資深晶片設計師兼硬體分析師 Mr. Bubble 在 22 日接受 Frictionless Podcast 訪問時表示，BlockBeats 同日報導了上述觀點。

背後原因包括先進製程成本上升，以及電晶體密度提升幅度放緩。僅靠製程微縮提升效能，在經濟效益方面正承受更大壓力。

因此，業界正更加重視將多枚晶片連接成單一運算系統的先進封裝。先進封裝是把多枚晶片整合為一套系統，以支援運算與資料傳輸的技術。

Mr. Bubble 表示，未來 AI 運算的基本單位可能不再是單一晶片或伺服器，而是完整機架，甚至多個機架。機架是由伺服器、網路、電力與冷卻設備共同組成的單位。

在這種情況下，PCB、封裝，以及連接晶片與晶片的互連技術，都可能成為限制整體系統效能的因素。即使晶片運算效能提升，若元件之間的資料傳輸速度不足，系統吞吐量仍可能受到限制。

記憶體架構也可能出現變化。隨著 AI 推理需要處理的上下文窗口變長，要把所有歷史資訊儲存在高成本的高頻寬記憶體（HBM）中將更加困難。

Mr. Bubble 提議，將使用頻率較高的資料放在 HBM，並把使用頻率較低的上下文移至容量更大、成本更低的快閃記憶體。這種做法不是把記憶體視為單一空間，而是按照使用頻率與成本分成多個層級。

上述記憶體分層顯示，AI 推理過程不只要管理資料本身，也要同時管理資料的位置與移動路徑。與其單純擴大高速記憶體容量，不如按照資料特性分配儲存位置。

3D DRAM 也被提出作為下一代記憶體技術的可能方向。不過，僅根據目前內容，尚無法確認這項技術何時、以何種形式導入商用產品。

AI 系統設計的另一項變數，是訓練與推理架構的變化。若預填充處理與解碼逐步採用分離式架構，除了個別晶片效能外，設計並連接整體系統的能力也可能變得更加重要。

預填充處理是模型先讀取輸入上下文並進行計算的階段；解碼則是根據計算結果逐步生成回應的階段。將兩者分開後，可以針對不同階段分別設計運算、記憶體與網路配置。

Mr. Bubble 在 22 日的 Frictionless Podcast 訪問中表示，相較於大型語言模型企業，具備硬體、封裝、記憶體及其他基礎設施能力的企業，可能在 AI 產業中扮演長期角色。不過，具體企業或技術是否會主導實際商用化與需求擴大，仍需另行確認。

這項分析顯示，AI 運算競爭的焦點已不只停留在 GPU 與模型開發商，也正延伸至把多種元件與記憶體層級整合為單一系統的技術。如何同步管理封裝、連接延遲與記憶體容量，已成為 AI 基礎設施的重要課題。