DigitalOcean 如何用前缀感知路由消除 LLM 推理的隐性成本

DigitalOcean 详解前缀感知路由与缓存如何消除 LLM 推理中的冗余 prefill 开销：典型客服负载中 2,000 token 系统提示占输入约 91%，在 NVIDIA H200 或 AMD Instinct MI325X 上预填充需约 45–50ms、100–120 GFLOPs，每小时 1 万次请求即超 1 万亿冗余 FLOPs。