跳到正文

主题:基础设施与部署

今日 7 条
今天10月19日周一
  1. V2EX 最新主题15

    自建 Claude 反代还是用现成中转?aicoding.inc 免费领 10 美元算笔账

    aicoding.inc 推出免费领 10 美元额度活动,让开发者对比自建 Claude 反代与现成中转的成本。自建需一台海外 VPS 每月几十块、海外卡开官方账号,还要应对 IP 风控;中转无需维护服务器,支持支付宝微信充值,消耗按官方 1.9 折、2.9 折、4.9 折三档扣费。Claude Code 里改 Base URL 即可接入,领额度可跑一周对比两边账单。

  2. V2EX 最新主题22

    芒果 AI 更新 DeepSeek-4.1-Flash 1017 版本,国产模型低至 0.05 折、AI 生图 0.015 元起

    芒果 AI 将 DeepSeek-4.1-Flash 更新至 1017 版本,可通过 API 接入日常问答、代码辅助与批量任务。平台集中接入 DeepSeek、Kimi、GLM 等国产模型,低至 0.05 折,新用户注册赠送 1 元体验额度。AI 生图经济档 ¥0.015 起、高质量档 ¥0.15 起,具体价格以官网实时展示为准。

  3. Hacker News 首页36

    不自己跑 LLM 代理,你怎么知道模型调用发生了什么?

    作者主张开发者应自行部署 LLM 代理,而不是只依赖模型厂商前端提供的用量图表。自建代理可在单一端点接入多家供应商与模型,记录哪个 key 在何时调用了哪个模型、状态如何,并用虚拟 API key 避免主密钥散落在各处。作者称其代理带 API,遇到缓存未命中时可在 20 秒内手工定位原因,也可进一步自动化。

  4. HackerNoon40

    如何用混合 AI 路由把每个请求分给最合适的模型,而不是全发给最贵的那个

    混合 AI 路由在应用与模型池之间加一层决策,按复杂度、功能、隐私、预算与速度把每个请求分给最合适的模型。路由先用硬性要求过滤,再用偏好排序,并返回一个排序列表,使供应商超时或限流时自动切换备用模型。开源项目 RouteLLM 提供预训练的 learned router,可跳过自行积累标注数据。

10月18日周日
  1. dev.to · Side Project33

    周末构建日志:为免费模型副业项目做一个幂等批处理 Worker

    一个周末构建的幂等批处理 Worker 用内容哈希幂等键存入 SQLite,重跑时跳过已完成任务,避免重试重复计费。它限制并发为 2 个在途请求,最多重试 4 次、基础延迟 1.5 秒并逐次翻倍加抖动,超时只重试一次,失败项写入 dead_letter.jsonl 交人工处理。脚本还设 400,000 字符预算,超出即停止运行,仅支持单仓库、四个固定标签并输出 results.jsonl。

  2. dev.to · Side Project34

    周末构建日志:周一前可运行的模型切换冒烟测试

    一个周末就能搭好的模型切换冒烟测试:用 12 条 cases.jsonl 固定用例、一个仅依赖 Python 标准库的 CLI 脚本,按字符串规则判定通过与否,输出通过率和退出码。分别对两个模型各跑一次并 diff scorecard.json,即可看出哪些行为对模型敏感,再把脚本接入 CI,非零退出码就阻断部署。作者跳过了 Web 面板、模型当裁判以及延迟与成本采集。

  3. Reddit r/SaaS20

    Dreamtune Labs 开发者提问:该把 AI 模型和工具放在同一个服务商下吗?

    Dreamtune Labs 的开发者正在讨论,做 SaaS 时该为模型 API 以及搜索、抓取、算力等工具保留独立服务商账号,还是统一放到一个共享平台下。他认为合并账单只有在仍能看清每笔费用、并保留对底层服务的控制时才有价值,想了解有人从直连 API 转向聚合层后又退回的经历。

  4. Hacker News Show HN28

    AegisKernel:在浏览器里测试 AI Agent 的提示注入攻击

    AegisKernel 在浏览器中提供提示注入攻击测试,用攻击向量生成器演示概率性 LLM 护栏为何失效,并展示确定性能力边界如何在亚毫秒级拦截自主工具劫持。它宣称可 100% 确定性防御,集成只需两行代码,兼容 LangChain、CrewAI、AutoGen,通过 `AegisShield` 与 `SecurityPolicy.strict()` 保护工具调用。

10月17日周六
  1. dev.to · Side Project22

    周末构建日志:带 Token 预算账本的每周摘要机器人

    一份周末构建日志记录了如何用单个 cron 任务、一个模型调用和约 15 行的 token 账本,做出每周 CI 失败摘要机器人。账本默认 TOKEN_CAP 为 120000,超限即非零退出且不产出文件;模型只按固定 JSON 契约分组错误签名,解析失败重试一次后回退为原始任务列表。作者刻意砍掉 Web UI、自动修复、向量库和多仓库鉴权,并披露文章属于 MonkeyCode 的产品推广内容。

  2. dev.to · Side Project28

    周末构建日志:为免费端点上的副项目做一个模型切换测试工具

    一个周末副项目用十二个固定用例、一个校验响应结构的 runner 和一份标出翻转用例的 diff,组成模型切换测试工具。runner 仅依赖 Python 标准库,通过 LLM_BASE_URL、LLM_API_KEY、LLM_MODEL 环境变量对接任意 OpenAI 兼容端点,只校验 JSON 可解析与必需键存在,不做质量评分。

  3. V2EX 最新主题22

    芒果 AI 推广:国产模型 0.05 折起,AI 生图 0.015 元起,新用户送 1 元体验额度

    芒果 AI 上线聚合 API 平台,DeepSeek、Kimi、GLM、Claude 等模型一个平台接入,国产模型价格 0.05 折起,AI 生图经济档 ¥0.015 起、高质量档 ¥0.15 起。新用户注册即送 1 元体验额度,可先跑通接口、测试模型再决定是否长期使用。平台另提供基于轻量编辑器定制的专属编码工具和开发者交流群,具体模型、可用通道与价格以官网实时展示为准。

  4. V2EX 最新主题18

    OpenAI ChatGPT 今日额度消耗明显加快,用户猜测四种原因

    有 V2EX 用户反映 ChatGPT 今天额度消耗明显加快,并猜测四种可能:路由回了正确的模型、可用额度暗降后内部 BUG 修复间接提高、所用 6.1 Sol 的 TPS 回到正常水平使任务处理更快、上下文从 273K 升到 500K 额度消耗。另有回复称速度变快,以前 20-30tps 算快,现在平均 40-50,偶尔 60+。

  5. V2EX 最新主题12

    自建反代和用中转差在哪?aicoding.inc 新人领 10 美元免费额度

    aicoding.inc 推出新人 10 美元免费额度,主打与自建反代对比的中转方案。其 API 按 1.9 折、2.9 折、4.9 折三档消耗,线路由数万用户、200 多家企业共用,国内支付即可充值,在 Claude Code 里改一下 ANTHROPIC_BASE_URL 就能用。自建反代则需自购海外 VPS、按官方原价付 API、续证书并盯 IP 是否被封。

  6. Vercel News62

    Reflection AI 的 Beam 模型限时免费上线 Vercel AI Gateway

    Reflection AI 的 Beam 模型现已上线 Vercel AI Gateway,发布期内通过 Reflection AI 调用免费。Beam 是面向编码和 Agent 任务的低延迟美国开放权重推理模型,权重以 Apache 2.0 发布,支持工具调用和结构化输出,上下文窗口为 1M token,每 token 仅激活 501B 参数中的 23B。

    推荐理由:Reflection AI 的 Beam 模型限时免费接入 Vercel AI Gateway,并给出两种调用方式与免费期结束后的迁移差异。