OpenRouter Blog·· 27 天前精选AI 评分67
OpenRouter 推出 Batch API,批量请求可享半价推理
Batch API: half-price inference by bundling requests
AI 导读
OpenRouter 上线 Batch API,把不需要立即返回的请求打包提交,由服务商在 24 小时窗口内自行选择完成时间,换取通常为正常每 token 价格 50%(有时更低)的折扣,目前支持 70 多个模型。
推荐理由
OpenRouter 上线 Batch API,用异步换五折推理价,并给出 23 万批次的实际等待时间分布。
来源:OpenRouter Blog · openrouter.ai