DigitalOcean Blog· DigitalOcean·· 3 小时前精选AI 评分62
DigitalOcean Serverless Inference 的 Prompt Caching 正式可用，缓存输入最高降价 90%
Prompt Caching is GA on DigitalOcean Serverless Inference: Up to 90% Off the Context Your Agents Resend
AI 导读
DigitalOcean 宣布 Prompt Caching 在其 Serverless Inference 上正式可用，覆盖开放模型目录中的受支持模型，无需改动请求代码，缓存输入最高按 90% 折扣计费，首 token 延迟最多降低 80%。
推荐理由
官方说明缓存亲和路由如何把命中率从三成多提到九成以上，并给出计费与开关细节。
来源：DigitalOcean Blog · digitalocean.com