Show HN:llm-gauze 用 HTTP 网关修补开源权重 LLM 的部分缺陷
llm-gauze 是一个 HTTP 网关,部署在本地 LLM(通过 OpenAI 兼容 API 提供服务)前面,处理瞬时错误不重试、模型静默挂起或循环、空回复或敷衍回复、上下文窗口溢出、推理失控和工具调用格式错误等问题,并在客户端看到之前尽量修复。
llm-gauze 是一个 HTTP 网关,部署在本地 LLM(通过 OpenAI 兼容 API 提供服务)前面,处理瞬时错误不重试、模型静默挂起或循环、空回复或敷衍回复、上下文窗口溢出、推理失控和工具调用格式错误等问题,并在客户端看到之前尽量修复。
Tallyhook 是一个无依赖的 Node.js 单文件工具,读取本机 Claude Code 和 Codex CLI 已写入的会话日志并按公开 API 列表价计算成本,无需账号也不上传数据。
Zapier 用 AutomationBench 对比了 Claude 四个主力模型:Opus 5.5(Max)单任务 $1.28、通过率 40.0%,Fable 5.1(Max)$2.45、22.37%,Sonnet 5(Max)$0.88、10.65%,Haiku 5.5(Max)$0.10、12.02%。
一家英国小型代理机构在给客户应用加入 AI 功能(聊天、搜索、摘要)时,反复遇到成本不可预测、输出格式错误或内容有误、以及模型变慢或宕机时应用该如何应对的问题。其当前做法是仅走服务端调用、对每次响应做 schema 校验、保留非 AI 降级路径、加缓存,并记录每次调用以便排查错误答案。发帖者就成本控制与 prompt 变更测试征求同行做法。
Favz 抓取公开 GitHub 仓库中提交的 AI agent 配置,统计其中的 MCP server、skill 和 plugin,目前已收录 166,014 个仓库,来自 211,411 个被发现的仓库,并整理出 49,914 个出现在 3 个及以上仓库中的工具名。
Louis Abraham 和 Nicolas Devatine 发布 LLM Fuzz CI,这是一个 GitHub Action,让编码 agent 读取代码并为标记的测试生成对抗性输入,再由正常测试流程回放,因此报告的都是真实断言失败。
Kerneta 开源 DaiDocs,用 .dai 存文档与会话历史、.cai 存代码调用图,均为本地纯文本文件,可用 grep 和 git 直接读取。
用 OpenAI 的 cl100k_base tokenizer,同样内容在印度语言下平均消耗 8 倍 token,Hindi 为 4.1x,Malayalam 高达 13x,印度语言用户实际可用上下文窗口仅为英语用户的 12%。
澳大利亚 NDIS 与养老护理软件 Rostery 上线远程 MCP 服务器,让 Claude、ChatGPT 等 AI 客户端通过 OAuth 按组织授权查询排班、进展记录和事件数据,财务相关的工时表、发票、付款与薪资工具则完全不暴露。
Edgee Mod for Claude Code 让你在 Claude Code 内使用任意模型,同时保留原有 Claude 套餐。该工具在 Product Hunt 发布,提供 Discussion 与 Link 入口。
Anthropic 发布 Claude Haiku 5.5,这是 Haiku 系列约一年来的首次更新,定价与 OpenAI 的 GPT-6 Luna 持平,同日还下调了 Sonnet 5.5 的价格和订阅方案。
推荐理由:汇总了 Claude Haiku 5.5 的定价、第三方评测与 token 消耗数据,可对照 GPT-6 Luna 判断低成本模型的实际成本。
跃点 AI 上线自荐,最低提供 0.1 倍率,主推 0.2 倍率稳定分组,通过探针检测、自动分组和定时鹈鹕绘图测试持续观察模型状态。官网首页免登录可查看“鹈鹕在月球上骑自行车”二维动画作品及模型、生成时间、耗时和源代码,每分钟自动同步。Claude 另提供 1x 倍率老官号渠道,非 Kiro 类,额度有限先到先得,站内已开放邀新返利活动。
offstage 在 Product Hunt 发布,主打让 computer-use agent 获得独立的 Mac 账号,而不是直接操作用户自己的屏幕。该产品以 Discussion 与 Link 形式呈现,具体定价、可用性与功能细节原文未披露。
Liquid Inference 是一款 LLM 路由器,让多个供应商为每一次 prompt 相互竞价。它已在 Product Hunt 上线,开发者可通过竞价机制为每次请求选择供应商。
一个团队把几个 coding agent 接进 Slack 和 GitHub 后,用 TypeSafe 的 Jev 做「要不要回复」的判断:定义问题和判定标准,返回带概率的类型化结果,路由逻辑写在自己的代码里,调严格程度只需改阈值而非改 prompt。
SecureVector 6.0 推出 Agent Sessions,可在其中启动 Claude Code、Codex、GitHub Copilot CLI 或 OpenCode 等编码代理。
降低 SaaS 应用 LLM API 账单的做法是:常规的候选人-评分标准提示走小模型,结构化答案不确定时再用大模型重试一次,非紧急处理放进批处理,路由决策保留在 Node.js 应用代码里。
基于 LAYA 本地开源决策模型的决策模型训练工作台更新,新增决策模型训练和目标检测训练两项功能。决策模型训练(开源版 JEV)支持用任意 Hugging Face 编码器新建 Laya 格式模型或在官方 Laya 权重上微调,训练结果由项目自有服务端提供,接口仍为 /v1/systemone,4 GB 显存即可训练小模型,无显卡可用 CPU 训练。
Museum of Models 在 Product Hunt 发布,收录了 371 个 AI 模型对同一批问题给出的全部回答,供横向对比。该产品以 Discussion 形式呈现,并附有访问链接。
吉吉 API 第一时间上线 Claude Haiku 5.5,Anthropic 官方定位其为目前最快、最便宜、能力最强的小模型,也是首款支持可调节推理强度的 Haiku。官方测试中 Computer Use 达 72.4%(Luna 48.9%)、Terminal Agent 39.2%(Luna 16.4%)、FrontierCode 46.4%(Luna 42.4%)。回复可领测试鸡蛋。
作者开源了 free-llm-intel,一个每天自动巡检 OpenAI、Anthropic、Gemini、Mistral、xAI 以及通义、Kimi、DeepSeek 等国内外 30+ 家 LLM 厂商官方页面的聚合站,为没有 RSS 的厂商生成自建源并合成总订阅流,导入一个 OPML 即可订阅全部更新。
Anthropic 在 10 月 7 日的更新中宣布,6 月公布的 Agent SDK 月度额度不再提供,Claude Max 和 Team 套餐改为包含月度 API 额度,覆盖 Claude Agent SDK、Claude API 和 Claude Managed Agents。
创业 SaaS 选低成本 AI 聊天机器人后端,应先用自己的工单集设两道预算:路由决策的质量下限和面向客户回复的延迟上限,候选方案通过后才比较每 Token 价格。建议对明显工单走小型同步路径、不确定工单走升级路径、无需阻塞回复的工作走批处理,并以「每张被接受工单的成本」而非每请求成本做对比。
面向 Agent 开发者,多数场景的答案是两者都用:难推理任务用闭源前沿模型,嵌入、重排、抽取等高频重复任务用自托管的开放权重模型。文章指出所谓"开源"多为开放权重,OLMo、Pythia、T5 才算开源,Qwen3、DeepSeek V4、Llama 4、gpt-oss 属开放权重,且许可证差异大。计费上闭源 API 按 token、自托管 GPU 按小时,高频稳定负载自托管更省。
OpenAI 在全球范围向 ChatGPT 推出 GPT-6,并引入结合文字、视觉与交互功能的 Intelligent UI。
OpenRouter 自研的 AI 销售代理 Rasp 每月为其 5 人销售团队省回约 600 小时,相当于每位 AE 每周约 28 小时。它自主发送 93% 的首次触达邮件,把单场 demo 的工作量从 103 分钟压到 44 分钟,成交周期缩短 34%,成交率提升 2.6 倍。得益于 Ori 路由层自动切换到更便宜的模型,Rasp 每天成本约 $30,而它取代的代理每天接近 $800。
Saintsallabs 的 Heather 在 Reddit 介绍桌面 AI 助手 SaintSal(助手名 Sal),支持 Mac 和 Windows,免费试用地址 saintsal.ai。其 HACP 引擎按请求难度自动分配模型,简单任务走轻量模型、复杂任务走大模型,以减少 token 消耗和账单,用户可自行设置路由边界。团队正征求关于成本敏感度、是否信任自动路由以及全天常驻需求的反馈。
Anthropic 发布快速低价模型 Claude Haiku 5.5,定价与 OpenAI 的 GPT-6 Luna 完全一致,为 $0.10/$0.50,但仅限 10 万 token 以内,超出后涨价 5 倍至 $0.50/$2.50。
推荐理由:对比了 Haiku 5.5 与 GPT-6 Luna 的分档价格和分词器差异,并实测了不同推理档位的耗时与成本。
Anthropic 最新的轻量模型 Claude Haiku 5.5 已在 GitHub Copilot 全面可用,面向 Copilot Pro、Pro+、Max、Business 和 Enterprise 用户,可在 VS Code、Visual Studio、Copilot CLI、GitHub Mobile 等入口的模型选择器中选用。
Anthropic 更新说明,6 月公布的 Agent SDK 月度额度已不再提供,Claude Max 和 Team 计划改为每月附赠 API 额度,可用于 Claude Agent SDK、Claude API 和 Claude Managed Agents。用户需把额度领取到某个 Claude Console 组织,并使用该组织的 API key 调用。
开发者在 Hacker News 发布 Show HN 项目,为免费 Open Router 模型提供封装。该帖目前获得 1 分、0 条评论,正文未披露具体功能、价格或可用性细节。
AWS 宣布 Claude Haiku 5.5 在 Amazon Bedrock 和 Claude Platform on AWS 上线,据 Anthropic 称这是 Claude 5.5 系列中速度最快、成本最低的模型,多数任务成本比 Claude Haiku 4.5 低约 75%。
推荐理由:AWS 官方说明 Haiku 5.5 在 Bedrock 上的可用区域、调用方式与成本定位,便于评估是否接入。
Anthropic 的 Claude Haiku 5.5 已在 Vercel AI Gateway 上线,面向摘要、上下文压缩、数据库查询和分类等高并发、成本敏感任务,也是标准速度下最快的 Claude 模型。
OpenAI 的 Decisions API 现已通过 Vercel AI Gateway 提供,端点为 /v1/decisions,请求与响应格式与 OpenAI 一致,现有 OpenAI SDK 集成只需更换 base URL、凭证和模型 ID 即可切换。
推荐理由:Vercel 在 AI Gateway 上线 OpenAI Decisions API,开发者可了解结构化决策接口的接入方式与可用模型。
Mistral Large 4 面向文本和图像任务,官网提供登录后免费的 Playground,并有 OpenAI 兼容 API,模型 ID 为 mistral-large-4-0。
作者把 Grok Bot 通过 Upstash MCP server 接入 Upstash Box,只用在对话里说一句“设置 Upstash MCP server”,再走一遍 OAuth 就完成配置。
Anthropic 发布 Claude Haiku 5.5,面向分类、路由、抽取和子代理等高并发、低延迟任务,支持 1M token 上下文窗口和最高 128k 输出 token。
开发者 lowenbjer 发布 Claude Code 插件 Terse,通过一套写作规则把回复长度砍半并去掉客套话。作者称在 20 条针对真实代码库的提示上,Fable 5.1 下字数减少 46%、成本降低 51%,Opus 5.5 下字数减少 54%、成本降低 32%。
Anthropic 发布 Claude Haiku 5.5,定位高并发、成本敏感任务,平均运行成本比 Haiku 4.5 低约 75%,输入 $0.10、输出 $0.50 每百万 tokens(10 万 tokens 以内)。
推荐理由:Anthropic 发布 Haiku 5.5 并同步下调 Sonnet 5.5 缓存读取价格,开发者可据此重算高频调用与 agent 成本。
Vercel 在 AI Gateway 上线 stealth 模型 Glyph Cluster,Pro 和 Enterprise 套餐且已购买 AI Gateway 额度的团队在 stealth 期间可免费使用。
推荐理由:Vercel 在 AI Gateway 上线免费 stealth 模型,并说明其能力边界与数据使用条款,便于开发者判断是否接入。