OpenAI公開了與博通(AVGO)共同開發的首款自研推理晶片Jalapeño的效能測試結果。根據公開模型測試,這款晶片的每瓦處理量提升1.5至1.9倍,端到端延遲則降低1.7至3.6倍。
根據OpenAI於25日發布的技術報告,Jalapeño在GPT-OSS 120B、DeepSeek R1與Kimi K2.5 1T等公開模型上測得上述成績。報告同時指出,在對話式推理負載下,效能提升幅度達2.1至4.1倍。
Jalapeño是OpenAI首款專為大型語言模型(LLM)推理打造的專用加速器。OpenAI與博通(AVGO)去年6月公開這款晶片時曾表示,從設計到量產流片(tape-out)共耗時9個月,期間OpenAI自家模型還加速了部分開發流程。
OpenAI表示,計劃在今年底前開始將Jalapeño部署至自家運算基礎設施。不過公司也強調,包括輝達(NVDA)在內的合作夥伴加速器,仍將持續廣泛用於模型訓練與推理工作。
留言 0