Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

AI重寫Kimi注意力核心,推理速度約為官方實作3倍

檢查高效能GPU加速器板卡 / TokenPost.ai

AI重新改寫Kimi注意力核心後,推理速度約為官方實作的3倍。

BlockBeats報導,AI針對Kimi注意力運算所使用的GPU核心進行優化,重寫後的實作速度約為官方版本的3倍。核心是讓人工智慧模型在GPU上執行注意力運算的低階程式碼。

Moonshot AI公開了基於英偉達(NVIDIA) CUTLASS的Kimi Delta Attention專用FlashKDA;vLLM則表示,已在Kimi K3中導入融合式CUDA核心與英偉達合作開發的核心。

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1