AI重新改寫Kimi注意力核心後,推理速度約為官方實作的3倍。
BlockBeats報導,AI針對Kimi注意力運算所使用的GPU核心進行優化,重寫後的實作速度約為官方版本的3倍。核心是讓人工智慧模型在GPU上執行注意力運算的低階程式碼。
Moonshot AI公開了基於英偉達(NVIDIA) CUTLASS的Kimi Delta Attention專用FlashKDA;vLLM則表示,已在Kimi K3中導入融合式CUDA核心與英偉達合作開發的核心。
Font size
6128
6128
6128
6128
檢查高效能GPU加速器板卡 / TokenPost.ai
AI重新改寫Kimi注意力核心後,推理速度約為官方實作的3倍。
BlockBeats報導,AI針對Kimi注意力運算所使用的GPU核心進行優化,重寫後的實作速度約為官方版本的3倍。核心是讓人工智慧模型在GPU上執行注意力運算的低階程式碼。
Moonshot AI公開了基於英偉達(NVIDIA) CUTLASS的Kimi Delta Attention專用FlashKDA;vLLM則表示,已在Kimi K3中導入融合式CUDA核心與英偉達合作開發的核心。
<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>
Most Popular
Other related articles
Category article
Comment 0