跳到正文
原文
OpenRouter Blog·· 27 天前精选AI 评分67

OpenRouter 推出 Batch API,批量请求可享半价推理

Batch API: half-price inference by bundling requests

AI 导读

OpenRouter 上线 Batch API,把不需要立即返回的请求打包提交,由服务商在 24 小时窗口内自行选择完成时间,换取通常为正常每 token 价格 50%(有时更低)的折扣,目前支持 70 多个模型。

推荐理由

OpenRouter 上线 Batch API,用异步换五折推理价,并给出 23 万批次的实际等待时间分布。

来源:OpenRouter Blog · openrouter.ai