Hacker News Show HN· dannyboland·· 3 小时前AI 评分40
Sturnus:基于延迟的 LLM 负载均衡器,单二进制零基础设施
Show HN: Sturnus, a latency-based LLM load balancer
AI 导读
Sturnus 是一个基于延迟自动在多个 LLM 供应商间路由流量的轻量 sidecar,以单个静态二进制运行、无需 Redis 或数据库,采用 MIT 许可。
来源:Hacker News Show HN · github.com