OpenAI公布與博通(Broadcom,代號AVGO)共同開發的自研AI推論晶片「哈拉皮諾(Jalapeño)」效能測試結果,強調在電力效率與回應速度上都有進步,同時也表明仍會持續使用輝達(NVIDIA,代號NVDA)加速器進行訓練與推論。
OpenAI在25日發布的技術報告中指出,哈拉皮諾在每單位電力可處理更多AI工作量的同時,回應速度也隨之提升。這次測試是在SemiAnalysis公開的基準測試平台InferenceX上進行。
受測模型包括GPT-OSS 120B、DeepSeek R1 670B與Kimi K2.5 1T。OpenAI說明,哈拉皮諾的額定功率為700瓦特,測試期間的持續功率則維持在550瓦特以下。
在Kimi的測試項目中,哈拉皮諾的尖峰電力效率比對照系統高出約1.5倍,端到端延遲則低了3.4倍。OpenAI自研推論晶片的效能表現與HBM供應變數,先前已受到關注。
哈拉皮諾是「推論」專用晶片,並非用於訓練。所謂推論,是指已完成訓練的AI模型針對使用者提問生成答案的過程。對ChatGPT這類服務而言,降低回應延遲與電力消耗,直接牽動營運成本與服務品質。
OpenAI表示,這次是把晶片、記憶體、網路、軟體與機架系統整合在一起設計。評論:這反映出大型AI企業不再只優化模型本身,而是把硬體與資料中心營運一併納入整體最佳化的趨勢。
博通今年6月與OpenAI共同發布哈拉皮諾,並說明這是OpenAI首款客製化推論加速器。雙方當時表示,哈拉皮諾是OpenAI模型與產品背後「全端策略」中重要的一步。
CNBC報導指出,這次發布有助於強化博通「2027財年AI營收上看1000億美元」預測的可信度。不過報導也提到,資料中心建設面臨的政治壓力,以及博通營收成長速度,仍是需要另外觀察的變數。
對輝達而言,情況又是另一回事。客製化晶片成為大型AI企業選項之一,讓外界更常提出「以GPU為核心的AI基礎設施架構是否會改變」的疑問。不過OpenAI在同一份報告中也表明,將持續廣泛部署輝達與其他合作夥伴的加速器,用於訓練與推論工作。
因此,哈拉皮諾與其說是取代輝達,不如說是多一條採購管道。對AI企業而言,同時運用「通用GPU」「客製化ASIC」與「資料中心長期合約」,藉此調整成本與效能,正成為更務實的做法。
輝達與OpenAI的基礎設施合作也持續進行。輝達表示,將為OpenAI位於美國俄亥俄州的大型資料中心計畫提供最高1050億美元的信用支持,而該計畫將全數採用輝達運算設備。
這項計畫與SB Energy在美國俄亥俄州的PORTS-Pike技術園區相連。OpenAI是這座園區「8 IT-GW」規模的客戶,SB Energy則以20年租賃架構興建並營運資料中心。
OpenAI表示,計畫在年底前開始將哈拉皮諾導入自家運算基礎設施,目前仍持續進行生產驗證、軟體成熟度提升、大規模營運準備,以及更多模型的驗證工作。
哈拉皮諾對輝達造成的實際影響,要等實際部署規模與下一代晶片開發進度明朗後才能評估。輝達執行長預計將於26日美股收盤後的財報發布會上,被問及客製化晶片競爭的相關問題。
留言 0