⚡Megatron LLM Hub
←返回搜索
Twitter

748B 参数 DeepSeek 在单张 RTX 4090 加 192GB 内存上跑到 44 tok/s。

本地大模型部署门槛继续下探,自托管推理暴露面随之扩大。
llm本地部署
RT @PeasantSmith: 748B DeepSeek on ONE RTX 4090. 192GB RAM. Maya-XS. 64K context. 44.1 tok/s decode, 539 tok/s prefill at 8K. You don't need a datacenter. You need RAM, and the gaming card you already own.