Replit 如何规模化评估与改进 Replit Agent
Replit 推出公开基准 ViBench,用自然语言 PRD 加自然语言测试计划,衡量 Agent 从零构建的应用是否满足需求。其评估体系由离线基准、线上 A/B 测试与生产 trace 两大支柱加一个优化闭环组成,基准可提前拦截回归,A/B 测试验证线上行为变化。ViBench 基于 Playwright,可评估从零建应用、在既有代码库上做功能扩展等场景。
Replit 推出公开基准 ViBench,用自然语言 PRD 加自然语言测试计划,衡量 Agent 从零构建的应用是否满足需求。其评估体系由离线基准、线上 A/B 测试与生产 trace 两大支柱加一个优化闭环组成,基准可提前拦截回归,A/B 测试验证线上行为变化。ViBench 基于 Playwright,可评估从零建应用、在既有代码库上做功能扩展等场景。
Railway 发布 State of Railway: Agents,把从注册、首次部署到调试和上线 v2 的整条链路针对 AI Agent 优化。每周有数万名用户完全通过 Agent 操作管理 Railway,其中相当比例是全新用户。
Mistral 发布 OCR 4,在提取文本之外返回边界框、块类型分类和逐页逐词置信度,支持 170 种语言、10 个语言组,可单容器自托管部署。API 定价为每 1,000 页 4 美元,Batch API 享 50% 折扣后为每 1,000 页 2 美元,Document AI 为每 1,000 页 5 美元。
推荐理由:Mistral 官方发布 OCR 4,给出定价、基准与自托管方式,可据此判断是否替换现有文档解析方案。
PostHog 详解其 Self-driving 功能(现已开放公测)中的核心组件 Scout:一种由 markdown 技能文件加轻量调度框架构成的 agent,按计划扫描 PostHog 数据并输出带证据和建议动作的 signal。
Hugging Face 把 huggingface_hub 的发布周期从每 4 到 6 周缩短到每周一次,整套流程跑在单个 GitHub Actions workflow 上。
OpenRouter 上线专用 Image API,统一接入 Google、OpenAI、Black Forest Labs、Recraft、ByteDance、Sourceful、Microsoft、xAI 等 30 多个图像模型。
推荐理由:OpenRouter 把 30 多个图像模型的参数与计费差异统一成一套接口,读者可据此判断接入成本。
Deloitte 报告称企业 AI 雄心与治理成熟度之间存在 53 分差距,74% 企业计划两年内部署 agentic AI,但仅 21% 有成熟的自主 agent 治理模型。
PaddleOCR 在 Hugging Face 发布 PP-OCRv6 通用 OCR 模型家族,提供 tiny、small、medium 三档,参数从 1.5M 到 34.5M,其中 small 和 medium 支持 50 种语言。
Vercel 发布平台原生功能开关 Vercel Flags,默认服务端求值、不影响页面性能,并与 Next.js、SvelteKit 深度集成。它支持按用户属性、分群或环境定义定向规则、渐进式发布和 kill switch,代码侧通过开源、与供应商无关的 Flags SDK 读取,也可用内置 OpenFeature provider 接入其他框架。
Jason Liu 分享了他用 Codex 处理长时间跨度开发工作的方式:保留上下文、管理复杂项目,让工作不再局限于单次 prompt。
PostHog 发布了一条产品改进流水线,把产品数据中的信号分组为问题,再由后台 agent 研究并自动在 GitHub 开 PR,直到 CI 通过。
Sakana AI 的 Fugu Ultra 已在 Vercel AI Gateway 上线,它并非单一模型,而是调度多个公开前沿模型、按问题复杂度路由给 1-3 个 agent 并汇总结果。
OpenRouter 提出用地理推理路由替代自建本地基础设施来满足 AI 数据驻留要求:在请求的 provider 对象里设置 order、allow_fallbacks、data_collection 和 zdr,即可限定推理地区并禁止供应商存储或训练数据。
Hugging Face 团队分享了用本地模型给 OpenClaw 仓库做 issue 与 PR 分类的方案,在 NVIDIA GB10 上运行 gemma-4-26b-a4b 和 qwen3.6-35b-a3b,通过 Pi harness 加只读 reposhell 与 final_json 结构化输出完成标签分类,再按规则推送到 Discord。
推荐理由:作者公开了用本地模型加受限 shell 做 PR 分类的完整配方与 330 行评测数据,可迁移到其他高吞吐筛选场景。
Vercel 发布 Agent Stack,把构建生产级 agent 所需的模型连接、工作流执行和数据工具连接打包成一套组件,并同步开源 agent 框架 eve 进入公开测试。
推荐理由:Vercel 把模型路由、持久化工作流、沙箱和连接器打包成 Agent Stack,并开源 eve 框架,可看清一套 agent 基础设施的组成方式。
OpenRouter 是托管路由网络,充值后调用一个 OpenAI 兼容端点,即可在 70+ 供应商间自动故障转移,无需自持供应商密钥;Portkey 是 AI 控制平面,2026 年被 Palo Alto Networks 收购,在你已有的密钥前加治理、提示词管理与可观测性。
OpenRouter 官方对比了自家托管网关与自托管 LiteLLM 的取舍,核心差异在于路由层运行在哪里。
Prisma 发布开源聊天应用 Open Chat(oss.chat,代码在 prisma/open-chat),把每个 token 先追加进 Durable Streams 持久日志再推给浏览器,断网、刷新或实例重启后客户端从上次 offset 重放即可补齐。
Prisma 于 2026 年 6 月开启 Prisma Compute 公开测试,这是与 Prisma Postgres 同区域运行的 TypeScript 应用托管,支持 WebSockets、后台任务、cron 与常驻有状态 Agent,Prisma 8 RC 则通过 contract.json 让 ORM、Postgres 与 Compute 共享同一 schema。
Prisma Compute 基于 Bun 运行,Bun 原生图片转换随运行时提供、不额外收费,无需外部服务或转换配额。开发者写一条 Hono 路由即可按 URL 参数(w、h、q、fit、format)生成变体,解码、转换、编码在 Bun 原生代码中执行,不占用 JavaScript 线程。
OpenClaw 内置 OpenRouter 支持,用一条 `openclaw onboard` 命令即可接入,一个 key 覆盖 70+ 提供商的 300+ 模型,并自动做提供商故障转移。OpenRouter 按量付费平台费为 5.5%,自带 key 的 BYOK 费为等效成本的 5%,另有 20+ 免费模型可按 token 零成本使用。
Domyn 与 AISquared 两家面向受监管行业的 AI 实验室,基于 Ai2 的开源模型与数据集构建自有产品。AISquared 的 Bolt Instruct 微调自 Olmo 2、Olmo 3 和 Olmo 3.1,覆盖 1B、7B、32B 三种规模,迁移后其基础设施托管成本降低约 50%。
Hugging Face 发布了一套针对 Agent 使用工具的基准测试方法,以 transformers 为案例,衡量 Agent 完成任务所耗费的 token、延迟与失败次数,而非只看最终答案。
Replit 现已可直接在 Claude 内使用,用户在 Claude Design 用自然语言设计好应用后,可一键发送到 Replit 继续构建、打磨并发布,无需复制粘贴或切换上下文。Claude 还能通过官方 Replit Connector 把任意开发任务交给 Replit,用于搭建后端、开发功能或迭代现有项目。
Kilo Code 可通过三步接入 OpenRouter,用一个 API key 访问 70+ 提供商的 300+ 模型,路由规则写在 kilo.json 的 models.{modelId}.options 下。
Shopify 推出 Catalog——一个统一智能层,通过 Catalog API 向开发者和 AI agent 标准化商品数据,核心是商品聚类:把不同商家的相关变体和商品归入同一个 Universal Product Identifier(UPI)。
OpenRouter 发布教程,介绍如何通过 ~/.codex/config.toml 配置把 OpenAI Codex CLI 路由到 OpenRouter,用一个 API key 调用 300+ 模型。
智谱发布旗舰模型 GLM-5.2,主打长任务能力,首次在 1M token 上下文上稳定支持长程工作,并以 MIT 协议开源。它引入 IndexShare 架构,每 4 层稀疏注意力共享同一 indexer,在 1M 上下文下把每 token FLOPs 降低 2.9×,同时改进 MTP 层使投机解码接受长度最多提升 20%。
推荐理由:GLM-5.2 把 1M 上下文和编码能力做成开源模型,读者可据此判断它在长任务上与闭源前沿的差距。
Together AI 用 12 个落地页提示词对比 Kimi K2.7 Code 与 Claude Fable 5,Kimi 平均便宜约 16 倍,整体成本低约 94%,生成 100 个页面可省约 94 美元。
推荐理由:原文用 12 个落地页对比两款模型的成本与质量,并给出 MCP 提供设计参考后的效果差异。
Amplitude 用 Agent Analytics 在三天内完成一次模型替换实验:把 Global Agent 生产环境中的 Claude Sonnet 4.6 换成 Gemini 3 Flash,后者输入成本约为前者的六分之一、输出成本约五分之一,单 token 成本降低 5–6 倍。
OpenRouter 发布教程,说明如何用三个环境变量把 Claude Code 的请求路由到 OpenRouter,从而获得供应商故障转移、按 key 预算上限和用量看板,无需本地代理。
推荐理由:OpenRouter 官方给出把 Claude Code 接入其路由层的三变量配置与成本算法,可据此评估故障转移和团队预算控制。
OpenRouter 通过兼容 OpenAI Chat Completions API 的单一端点,让任意编程工具用同一个 sk-or- 开头的 key、同一个 base URL 和 provider/model 格式的模型 slug 接入 300+ 模型、70+ 提供商。
OpenRouter 上线 openrouter:subagent 工具,在 tools 数组里加入后,前沿模型可在生成过程中把自包含任务下派给更小、更便宜、更快的 worker 模型,由 worker 处理完再把结果传回。
推荐理由:OpenRouter 上线 subagent 工具,让前沿模型把机械子任务下派给更便宜的 worker 模型,并给出成本差与计费方式。
Cloudflare 发布 Agents SDK 新版本,Agent 可通过单一 browser_execute 工具经 Browser Run 操作浏览器,用 CDP 写代码完成页面检查、截图与前端调试,会话支持一次性、复用或转为持久化。
GLM 5.2 已在 Vercel AI Gateway 上线,上下文窗口从 GLM 5.1 的 200K tokens 升级至 1M tokens,面向长周期任务,可跨单个任务携带项目级工程上下文。开发者可在 AI SDK 中将 model 设为 zai/glm-5.2 调用。AI Gateway 按供应商定价不加价,推理不收取平台费,BYOK 请求同样适用。
Cloudflare 在 Workers AI 上线 Z.ai 的旗舰 agentic coding 模型 GLM-5.2,模型标识为 @cf/zai-org/glm-5.2,支持函数调用与推理,面向自主编码、长周期规划和工具增强型 agent。
OpenRouter 发布 2026 年免费 LLM API 对比,覆盖 13 个平台,区分永久免费额度、试用额度和本地推理三类。
推荐理由:OpenRouter 汇总 13 家免费 LLM API 的速率限制、上下文与隐性成本,并给出故障切换的代码示例。
OpenRouter 提出用 API Key 在请求路径上做 Agentic AI 运行时治理,而非依赖治理框架。做法是按 Agent 工作流分配独立 API Key,并设置每日重置的额度上限,例如销售 Agent $50/天、分类 Agent $10/天,同时限制模型与供应商访问并记录请求。
OpenRouter 发布教程,介绍用 preset 替代硬编码模型 slug,让请求在模型被下架或限制时自动切换到备用模型。preset 是服务端命名配置,包含模型、备用模型、provider 规则、参数和 system prompt,代码里用 @preset/customer-support 引用,改一处即可全局生效,无需重新部署。
推荐理由:OpenRouter 官方给出用 preset 替代硬编码模型 slug 的做法,读者可据此把模型下线变成一次配置修改。
PostHog 提出"build mode",让产品工程师、产品经理和产品营销人员互相进入彼此的领域。过去 30 天,用户通过 PostHog AI 完成了数百万次 MCP 工具调用、超过 40 万次对话,并创建了 50 多万条 insight。