⚡Megatron LLM Hub
←Back to search
Website

DeepSeek 开源推理引擎 DeepInfer,作者分析其性能优势来自权重包与投机解码,缓存与路由未开源

llm推理引擎
DeepSeek 开源的推理引擎 DeepInfer,对大多数人不需要直接用。这篇借它讲清单模型引擎的快多半来自装得下、配套权重包和抢先接入的投机解码,以及 DeepSeek 没开源的缓存与路由那一层。