⚡
Megatron
LLM Hub
English
简体中文
后台
←
返回搜索
Website
分析 PD 分离多项优化叠加,如何导致跨租户 KV 缓存泄露。
2026-11-03
@yage-share
推荐
推理基建的缓存隔离假设被打破,多租户 LLM 服务需复核同类设计。
llm
云
缓存泄露
解析大模型推理为何将吃算力的预填充与吃显存带宽的解码拆到不同配置池,以及非对称量化、显存免清零复用与单边 RDMA 这三项提速捷径如何在异常分支下咬合成 Cloudflare GLM-5.3 的跨租户缓存泄露。
阅读原文 ↗
查看每日简报