跳到正文
原文
DigitalOcean Blog· Salman Paracha·· 2026-08-21AI 评分51

DigitalOcean Inference Router 上线缓存感知路由

DigitalOcean Inference Router, Now Cache-Aware: Why the Cheapest Model Isn't Always the Best Deal

AI 导读

DigitalOcean 为 Inference Router 推出缓存感知路由,让路由器在选模型时把已缓存上下文的价值算进去,避免为换更便宜的模型而丢弃热缓存。

来源:DigitalOcean Blog · digitalocean.com