輝達(NVDA)與晶片新創公司Groq簽下200億美元(約新台幣6200億元)技術合約後,計畫在今年內讓採用Groq架構的伺服器機架正式上線。這項時程安排,讓低延遲AI推理基礎設施導入客戶端的計畫更加具體。
根據CNBC於24日(當地時間)的報導,輝達正加緊Groq晶片的量產速度與客戶供貨作業。報導指出,這項動作顯示AI領域對低延遲推理處理能力的需求正持續擴大。
Groq長期專注開發晶片技術,鎖定大型AI模型接收輸入後生成回覆的推理階段。輝達似乎有意將這項技術整合進自家AI基礎設施,以因應市場對高速回應服務日益成長的需求。
留言 0