跳到正文
原文
OpenRouter Blog·· 2026-07-28AI 评分36

如何评估 LLM 提供商的延迟、吞吐量与可用性

How to Evaluate LLM Provider Performance Across Latency, Throughput, and Uptime

AI 导读

OpenRouter 提出用 4 个指标评估 LLM 提供商表现:延迟(首 token 时间)、吞吐量(输出 token/秒)、uptime 和量化精度。延迟应看 p90/p99 而非平均值,量化精度是隐藏的质量变量,可用 quantizations 字段固定。

来源:OpenRouter Blog · openrouter.ai