Back to top
  • 공유 分享
  • 인쇄 列印
  • 글자크기 字體大小
已複製網址

DeepSeek 全面開源推理框架 DeepInfer,輝達(NVDA)與華為昇騰晶片皆可用

裝有散熱片的 AI 運算晶片置於電路板上 / TokenPost.ai

據鏈捕手(ChainCatcher)報導,DeepSeek 已將內部推理框架「DeepInfer」全面開源。同步釋出的還有供正式服務使用的 token 編碼與解碼元件「deepseek-recipe」。

鏈捕手指出,DeepInfer 整合了高效能運算元與最佳化的推理引擎,支援分散式推理、推測解碼(speculative decoding)、SWA Bounded Replay 以及結構化輸出。在硬體方面,輝達(NVDA)與華為昇騰(Ascend)兩大平台都能使用。

DeepSeek 表示,已利用 DeepInfer 為 DeepSeek V4.1 Flash 建立高吞吐、低延遲的大規模推理服務。今後新模型的推理程式碼與最佳化內容,也會持續在 DeepInfer 上更新。鏈捕手另外提到,「deepseek-recipe」的設計與 DeepSeek 官方 API 的處理邏輯完全一致。

<版權所有 ⓒ TokenPost,未經授權禁止轉載與散佈>

最受歡迎

其他相關文章

留言 0

留言小技巧

好文章。 希望有後續報導。 分析得很棒。

0/1000

留言小技巧

好文章。 希望有後續報導。 分析得很棒。
1