跳到正文
原文
Hacker News Show HN· ggeorgovassilis·· 11 天前AI 评分38

Show HN:llm-gauze 用 HTTP 网关修补开源权重 LLM 的部分缺陷

Show HN: Gauze fixes (some) open-weight LLM deficiencies

AI 导读

llm-gauze 是一个 HTTP 网关,部署在本地 LLM(通过 OpenAI 兼容 API 提供服务)前面,处理瞬时错误不重试、模型静默挂起或循环、空回复或敷衍回复、上下文窗口溢出、推理失控和工具调用格式错误等问题,并在客户端看到之前尽量修复。

来源:Hacker News Show HN · github.com