⚡Megatron LLM Hub
←Back to search
Website

Anthropic 通过网关内存暂存将长对话请求包从 800KB 压缩到 1.8KB

对比四条长上下文路线,并给出 25.6 万词元解码成本升至 7 倍的实测代价
llm推理基础设施成本
Anthropic 上线 Message Threads 增量传输协议,通过 5 分钟闲置过期的网关内存暂存将长对话请求包中位数从 800 KB 压至 1.8 KB、首字等待中位数降低约 35%,而隔天英伟达研究院实测指出 25.6 万词元上下文会让显卡单字解码成本飙升最高 7 倍。本文剖析网关传输缓存、上下文压缩代价、OpenAI 长连接模式与 SGLang 推理状态四条路线的分工与选型边界。