DigitalOcean 详解规模化下的高级 Prompt Caching 架构

DigitalOcean 发文拆解多副本部署下 prompt caching 命中率随副本数增长而线性衰减的问题：单副本内 vLLM、SGLang、TensorRT-LLM 可自动做前缀缓存，但轮询负载均衡下相同前缀请求只有 1/N 概率命中缓存。