跳到正文
原文
dev.to · SaaS· evanshepherd5623·· 2 小时前AI 评分38

LLM API Token 计数如何影响成本:普通多租户应用如何降低开销

LLM API Token Count Impact: Reducing Cost in Ordinary Tenant Apps

AI 导读

面向私有知识库的 B2B SaaS 应按租户记录每次请求的输入、检索与输出 token 数,而不是只看月度总量,因为少数文档冗长或重试多的租户会主导用量。示例配置中,lookup 类问题给 1,800 token 上下文和 300 token 输出,explanation 类给 4,200 和 700,均需在检索前选定并随请求记录策略标识。

来源:dev.to · SaaS · dev.to