Back to top
  • 공유 分享
  • 인쇄 列印
  • 글자크기 字體大小
已複製網址

AI重寫Kimi注意力核心,推理速度約為官方實作3倍

檢查高效能GPU加速器板卡 / TokenPost.ai

AI重新改寫Kimi注意力核心後,推理速度約為官方實作的3倍。

BlockBeats報導,AI針對Kimi注意力運算所使用的GPU核心進行優化,重寫後的實作速度約為官方版本的3倍。核心是讓人工智慧模型在GPU上執行注意力運算的低階程式碼。

Moonshot AI公開了基於英偉達(NVIDIA) CUTLASS的Kimi Delta Attention專用FlashKDA;vLLM則表示,已在Kimi K3中導入融合式CUDA核心與英偉達合作開發的核心。

<版權所有 ⓒ TokenPost,未經授權禁止轉載與散佈>

最受歡迎

其他相關文章

留言 0

留言小技巧

好文章。 希望有後續報導。 分析得很棒。

0/1000

留言小技巧

好文章。 希望有後續報導。 分析得很棒。
1