高通(Qualcomm,QCOM)與西班牙人工智慧(AI)新創公司「Multiverse Computing」展開合作,鎖定資料中心用AI模型進行「輕量化」。雙方目標是縮小大型語言模型(LLM)的體積與運算負擔,藉此提升推理效率。
Multiverse Computing於5日在官方網站表示,將把旗下輕量AI模型特別優化,用於高通的「Dragonfly」AI200與AI250資料中心加速器。公司形容這項合作是「把高效AI模型帶進資料中心的協作」。
此次合作的核心技術,是Multiverse Computing自家的模型壓縮技術「CompactifAI」。這項技術參考量子運算常用的數學方法,透過「張量網路」架構縮減LLM的體積與記憶體用量。
Multiverse Computing提出的目標是,經CompactifAI壓縮後的模型可讓推理成本降低50%至80%,推理速度最多提升至2倍。公司表示,準確度仍能維持在原始模型近乎100%的水準。
不過,這些數字都是Multiverse Computing為自家服務設定的目標值。實際導入商用環境後能否達到相同效果,仍需透過日後的客戶部署案例與第三方獨立基準測試來驗證。
這次合作也與高通布局AI推理資料中心市場的策略相呼應。高通6月公布「Dragonfly」產品線時,便提出從AI200、AI250延伸至AI300的推理加速器發展藍圖。
AI250採用HBC Gen 1記憶體,設計上每張卡可提供133TB/s的有效記憶體頻寬。高通表示,這項數字是AI200的18倍。
AI基礎設施的競爭焦點,正從模型訓練效能擴大到推理效率。聊天機器人、AI代理、搜尋輔助與程式碼工具等高頻呼叫的服務,每產生一次回應都會累積推理成本。
模型壓縮正是在這個過程中,用來降低所需記憶體、電力與回應延遲的方法之一。高通透過改善硬體與記憶體頻寬因應,Multiverse Computing則以縮小模型體積與運算負擔的方式,瞄準同一個瓶頸。
本媒體先前也曾報導指出,AI基礎設施的壓力正從運算效能擴散至記憶體容量、頻寬與資料搬移架構。
Multiverse Computing曾於2025年6月宣稱,CompactifAI可將LLM體積最多縮減95%,同時維持效能不變。當時公司也同步宣布完成一輪1.89億歐元的募資。
該公司說明,壓縮後的模型不僅能運行於雲端與私有資料中心,也能部署在部分超輕量環境,例如個人電腦、手機、車用系統與無人機。這次與高通的合作,等於是把這項技術的應用範圍,進一步擴展到資料中心加速器領域。
值得留意的是,此次公告並未提及與代幣發行、區塊鏈基礎設施、挖礦設備或鏈上資料處理有直接關聯。AI資料中心在電力效率與推理成本上的節省,將如何影響去中心化AI、可驗證AI運算或裝置端AI錢包,目前也尚未具體化。
高通與Multiverse Computing接下來將把以CompactifAI為基礎的模型,優化至Dragonfly AI200與AI250加速器上。至於成本節省與效能維持的實際幅度,仍要等實際客戶部署與第三方獨立基準測試結果公開後,才能具體判斷。
留言 0