Reddit r/SaaS· /u/pizzapockets152·· 2 小时前AI 评分28
Reddit 用户求助:LLM 账单 6 个月涨到 3 倍,如何降本
Our LLM bill tripled in 6 months, i need to lower it
AI 导读
一个运营 B2B 客服机器人和内部 agent 的团队称,6 个月内 token 用量上升,但 LLM 账单涨得比收入更快,已涨到原来的 3 倍。该团队尚未落实的降本手段包括:把简单意图交给小模型、只对难任务保留前沿模型,缓存大量近乎相同的 system prompt,以及以承诺用量换取折扣。
来源:Reddit r/SaaS · reddit.com