AI業者要求高通在2028年前讓智慧型手機能常駐執行至少1,000億參數的模型。這是業界提出的需求,並不代表高通已承諾推出符合該規格的產品。
高通執行長克里斯蒂亞諾・阿蒙(Cristiano Amon)接受亞歷克斯・希斯(Alex Heath)專訪時表示,AI業者希望手機到2028年能持續支援至少1,000億參數的模型。這場訪談於10月8日公開。
阿蒙所描述的構想,是能理解使用者情境並跨多個應用程式執行任務的代理型服務。2028年是AI業者提出的需求時程,並非已確認的高通產品上市計畫。
高通於9月22日發表Snapdragon 8 Elite Extreme第六代與Snapdragon 8 Elite第六代。這兩款行動平台的設計目標,是在裝置端執行參數量超過300億的混合專家(MoE)模型。
MoE模型可依任務只啟用模型全部參數中的一部分。高通舉例指出,在一款參數量300億的MoE模型中,生成Token時約有30億個參數會被啟用。
因此,單看模型的總參數量,難以直接比較實際運算負擔。裝置所需資源會隨模型架構、精度、記憶體用量與生成速度而異。
要讓AI模型在智慧型手機上持續運作,也須考量記憶體與耗電負擔。高通將新款神經網路處理器(NPU)擴大的共享記憶體與低功耗設計,視為裝置端AI的基礎。
裝置端AI是在智慧型手機等設備上直接處理資訊的方式,可減少資料傳送至外部伺服器的次數與回應延遲;但模型規模越大,對記憶體與運算資源的需求也越高。
高通公布的設計說明呈現了公司的技術方向,但目前尚未提出能在智慧型手機上常駐執行1,000億參數模型的產品規格,也未提供獨立的效能驗證。
留言 0