dev.to · SaaS· evanshepherd5623·· 2 小时前AI 评分38
LLM API Token 计数如何影响成本:普通多租户应用如何降低开销
LLM API Token Count Impact: Reducing Cost in Ordinary Tenant Apps
AI 导读
面向私有知识库的 B2B SaaS 应按租户记录每次请求的输入、检索与输出 token 数,而不是只看月度总量,因为少数文档冗长或重试多的租户会主导用量。示例配置中,lookup 类问题给 1,800 token 上下文和 300 token 输出,explanation 类给 4,200 和 700,均需在检索前选定并随请求记录策略标识。
来源:dev.to · SaaS · dev.to