Hacker News 首页·· 8 小时前AI 评分36
不自己跑 LLM 代理,你怎么知道模型调用发生了什么?
If you don't run your own LLM proxy, how do you know whats going on?
AI 导读
作者主张开发者应自行部署 LLM 代理,而不是只依赖模型厂商前端提供的用量图表。自建代理可在单一端点接入多家供应商与模型,记录哪个 key 在何时调用了哪个模型、状态如何,并用虚拟 API key 避免主密钥散落在各处。作者称其代理带 API,遇到缓存未命中时可在 20 秒内手工定位原因,也可进一步自动化。
来源:Hacker News 首页 · jrdsgl.com