據鏈捕手(ChainCatcher)報導,DeepSeek 已將內部推理框架「DeepInfer」全面開源。同步釋出的還有供正式服務使用的 token 編碼與解碼元件「deepseek-recipe」。
鏈捕手指出,DeepInfer 整合了高效能運算元與最佳化的推理引擎,支援分散式推理、推測解碼(speculative decoding)、SWA Bounded Replay 以及結構化輸出。在硬體方面,輝達(NVDA)與華為昇騰(Ascend)兩大平台都能使用。
DeepSeek 表示,已利用 DeepInfer 為 DeepSeek V4.1 Flash 建立高吞吐、低延遲的大規模推理服務。今後新模型的推理程式碼與最佳化內容,也會持續在 DeepInfer 上更新。鏈捕手另外提到,「deepseek-recipe」的設計與 DeepSeek 官方 API 的處理邏輯完全一致。
留言 0