⚡Megatron LLM Hub
←Back to search
Website

分析 PD 分离多项优化叠加,如何导致跨租户 KV 缓存泄露。

推理基建的缓存隔离假设被打破,多租户 LLM 服务需复核同类设计。
llm云缓存泄露
解析大模型推理为何将吃算力的预填充与吃显存带宽的解码拆到不同配置池,以及非对称量化、显存免清零复用与单边 RDMA 这三项提速捷径如何在异常分支下咬合成 Cloudflare GLM-5.3 的跨租户缓存泄露。