AI重新改寫Kimi注意力核心後,推理速度約為官方實作的3倍。
BlockBeats報導,AI針對Kimi注意力運算所使用的GPU核心進行優化,重寫後的實作速度約為官方版本的3倍。核心是讓人工智慧模型在GPU上執行注意力運算的低階程式碼。
Moonshot AI公開了基於英偉達(NVIDIA) CUTLASS的Kimi Delta Attention專用FlashKDA;vLLM則表示,已在Kimi K3中導入融合式CUDA核心與英偉達合作開發的核心。
字體大小
A
A
A
A
檢查高效能GPU加速器板卡 / TokenPost.ai
AI重新改寫Kimi注意力核心後,推理速度約為官方實作的3倍。
BlockBeats報導,AI針對Kimi注意力運算所使用的GPU核心進行優化,重寫後的實作速度約為官方版本的3倍。核心是讓人工智慧模型在GPU上執行注意力運算的低階程式碼。
Moonshot AI公開了基於英偉達(NVIDIA) CUTLASS的Kimi Delta Attention專用FlashKDA;vLLM則表示,已在Kimi K3中導入融合式CUDA核心與英偉達合作開發的核心。
<版權所有 ⓒ TokenPost,未經授權禁止轉載與散佈>
最受歡迎
其他相關文章
分類文章
留言 0