Together AI 详解 LLM 推理端点自动扩缩：如何选择扩缩指标

Together AI 为 Dedicated Model Inference 部署提供基于推理引擎指标的自动扩缩，可选 inflight_requests、TTFT、GPU 利用率、token 吞吐等指标，并设置副本上下限与扩缩窗口。