跳到正文
原文
Hacker News Show HN· dannyboland·· 3 小时前AI 评分40

Sturnus:基于延迟的 LLM 负载均衡器,单二进制零基础设施

Show HN: Sturnus, a latency-based LLM load balancer

AI 导读

Sturnus 是一个基于延迟自动在多个 LLM 供应商间路由流量的轻量 sidecar,以单个静态二进制运行、无需 Redis 或数据库,采用 MIT 许可。

来源:Hacker News Show HN · github.com