Back to top
  • 공유 分享
  • 인쇄 列印
  • 글자크기 字體大小
已複製網址

延遲最高降3.6倍!OpenAI推理晶片Jalapeño測試結果曝光

精密測試台上的半導體晶片 / TokenPost.ai

OpenAI公開了與博通(AVGO)共同開發的首款自研推理晶片Jalapeño的效能測試結果。根據公開模型測試,這款晶片的每瓦處理量提升1.5至1.9倍,端到端延遲則降低1.7至3.6倍。

根據OpenAI於25日發布的技術報告,Jalapeño在GPT-OSS 120B、DeepSeek R1與Kimi K2.5 1T等公開模型上測得上述成績。報告同時指出,在對話式推理負載下,效能提升幅度達2.1至4.1倍。

Jalapeño是OpenAI首款專為大型語言模型(LLM)推理打造的專用加速器。OpenAI與博通(AVGO)去年6月公開這款晶片時曾表示,從設計到量產流片(tape-out)共耗時9個月,期間OpenAI自家模型還加速了部分開發流程。

OpenAI表示,計劃在今年底前開始將Jalapeño部署至自家運算基礎設施。不過公司也強調,包括輝達(NVDA)在內的合作夥伴加速器,仍將持續廣泛用於模型訓練與推理工作。

<版權所有 ⓒ TokenPost,未經授權禁止轉載與散佈>

最受歡迎

其他相關文章

留言 0

留言小技巧

好文章。 希望有後續報導。 分析得很棒。

0/1000

留言小技巧

好文章。 希望有後續報導。 分析得很棒。
1