跳到正文
原文
AWS Machine Learning Blog· Claudio Mazzoni·· 4 小时前AI 评分40

在 Amazon Bedrock 上使用 OpenAI 模型的提示缓存模式:让 AI agent 不再每天重读一遍人生

Groundhog Day for AI agents: Prompt caching patterns for using OpenAI models on Amazon Bedrock

AI 导读

在 Amazon Bedrock 上调用 OpenAI 模型时,agent 每一轮都要重发工具定义、指令和全部历史,token 成本随轮次累积。提示缓存把这段可复用前缀存下来,后续请求按更低的输入价格复用,支持 Bedrock 自动选择缓存边界的隐式模式,以及用 prompt_cache_breakpoint 标记边界的显式模式,两者可组合使用。

来源:AWS Machine Learning Blog · aws.amazon.com