OpenRouter 推出 Nitro 与 Floor Price 快捷后缀,按速度和价格选供应商
OpenRouter 上线 `:nitro` 和 `:floor` 两个模型后缀,前者按吞吐量(tokens/秒)排序供应商以取最快,后者选最低价供应商,效果等同于在 API 中设置 provider.sort 为 "throughput" 或 "price"。
OpenRouter 上线 `:nitro` 和 `:floor` 两个模型后缀,前者按吞吐量(tokens/秒)排序供应商以取最快,后者选最低价供应商,效果等同于在 API 中设置 provider.sort 为 "throughput" 或 "price"。
Neon 在博客中讲解如何构建 GitHub Copilot 扩展,让 Copilot 理解自家平台。文章以托管 Postgres 服务或专用 API 为例,指出仅靠开发者翻文档已不够,需要把平台知识接入 Copilot。
Cloudflare AI Gateway 新增 Cartesia、Cerebras 和 ElevenLabs 三家服务商。Cartesia 提供低延迟、自然语音的文本转语音模型;Cerebras 为 Meta 的 Llama 3.1 8B 和 Llama 3.3 70B 提供低延迟推理;ElevenLabs 支持 32 种语言的类人语音文本转语音。接入只需更新 base URL。
用 pgrag 和 DeepSeek 可以在 psql 中构建完整的 RAG 流水线。RAG 的流程是先拿用户问题检索相关信息,再把检索结果和问题一起放进提示词交给 AI 聊天模型(ChatGPT/Claude/DeepSeek)作答。
Mistral 发布 Mistral Small 3,一个 24B 参数、Apache 2.0 许可的延迟优化模型,官方称其性能与 Llama 3.3 70B instruct 相当,同硬件上快 3 倍以上,MMLU 准确率超过 81%、延迟 150 tokens/s。
推荐理由:Mistral 官方发布 24B 开源模型,给出与 Llama 3.3 70B、GPT-4o-mini 的对比和本地部署门槛。
Hugging Face 在 Hub 的模型页上线 fal、Replicate、SambaNova、Together AI 四家 serverless 推理服务商,并集成进 JS 和 Python 客户端 SDK。
推荐理由:Hugging Face 把四家 serverless 推理服务商接入模型页与 SDK,读者可据此比较调用方式与计费差异。
Replicate 将 @kohya_tech 的 Musubi Tuner 适配到自家平台,用户可以用自己的视频素材微调开源视频模型 HunyuanVideo。
推荐理由:Replicate 把 Musubi Tuner 搬上平台,读者可以按步骤微调 HunyuanVideo 并用自己的素材生成视频。
OpenRouter 发布 Reasoning Tokens 功能,在 Chatroom 和 API 中都能观察模型的推理步骤。使用时在 API 请求中加入 include_reasoning: true,推理内容会出现在每条消息的 reasoning 字段中。该功能首批支持 DeepSeek R1 系列模型,后续将支持 Gemini Thinking 模型。
推荐理由:OpenRouter 上线推理 token 功能,开发者可经 API 查看模型推理过程并接入工作流。
OpenRouter 宣布对 API 返回的 finish reasons 做标准化处理,让不同模型返回的结束原因字段保持一致。开发者无需再针对各家模型的差异分别适配,可统一判断生成是正常结束、触发长度上限还是被内容过滤拦截。
Vercel 发布 AI SDK 4.1,新增实验性 generateImage 函数,可通过统一 API 在 Replicate、OpenAI、Google Vertex AI 和 Fireworks 等提供商之间生成图像,切换提供商只需改两行代码。
推荐理由:Vercel 官方发布 AI SDK 4.1,新增图像生成与工具调用修复,可了解多模型统一 API 的最新能力边界。
Render 发布教程,教开发者用 Inngest 和 Render 搭建一个 AI Agent:定时抓取 Hacker News 上你关注的话题,生成摘要后发到邮箱。
Mistral AI 发布 Codestral 25.01,采用更高效的架构和改进的 tokenizer,生成与补全代码的速度约为上一代 2 倍,上下文长度 256k。
推荐理由:Codestral 25.01 的生成速度约为上一代两倍,并给出与 DeepSeek、CodeLlama 等模型的 FIM 基准对比。
Cloudflare AI Gateway 新增 DeepSeek 作为提供商,支持 DeepSeek-V3 模型。开发者只需把 DeepSeek API 调用的 base URL 改为经由 AI Gateway 路由,即可获得分析日志、缓存、限流与 fallback 等监控、控制和优化能力。
OpenRouter 在 2025 年新年升级 Auto Router,现可路由至 19 个不同模型并按质量优化。Chatroom UI 现在更清楚地显示所用模型,该功能也可通过 API 使用。OpenRouter 正在测试由 Not Diamond 元模型驱动的路由,该 API 目前免费,但未来可能变化,并会提供更多自定义能力。
OpenRouter 推出网页搜索功能,可在 Chatroom 中为任意语言模型提供最新信息,目前免费,API 访问稍后开放。同时下调多款模型价格,qwen-2.5-coder-32b-instruct 降 12%,hermes-3-llama-3.1-70b、llama-3.3-70b-instruct、llama-3.1-70b-instruct 等降 31%。
推荐理由:OpenRouter 上线网页搜索并下调多款模型价格,读者可据此了解其能力与调用成本变化。
Neon 发布 MCP Server 约两周后,社区已构建数十个覆盖不同领域的 Model Context Protocol 服务器,但 Claude Desktop 应用成为主要使用入口。文章介绍如何为 MCP 服务器构建 CLI 客户端。
Neon 发布教程,教你用 ElevenLabs 构建一个名为 Puls 的 AI 语音助手应用。指南面向正在探索 AI 应用开发的开发者,结合 ElevenLabs 的语音能力完成搭建。
OpenAI 推出 o1,并同步带来 Realtime API 改进、新的微调方法等面向开发者的更新。官方称此次还包含更多开发者相关能力,但未披露具体价格、费率或可用地区等细节。
Replicate 认为 AI 视频正在经历类似 Stable Diffusion 的时刻,Sora 让所有人看到可能性,如今已有多个模型达到接近 Sora 的水平。
推荐理由:Replicate 官方梳理了当前主流视频模型的 ELO、速度与开源情况,并给出可直接在浏览器和 API 试用的入口。
OpenRouter 为 OpenAI 4o 和 Fireworks 模型推出结构化输出,支持 JSON Schema 校验,保证类型安全且一致的响应,更多提供商即将支持。同时免费开放 Google 的 Gemini Flash 2.0,官方称其首 token 时间显著更快,多模态理解、编码能力和函数调用均有提升,但初期会严格限流以便在所有用户间共享访问。
推荐理由:OpenRouter 同时上线结构化输出与 Gemini Flash 2.0 免费入口,可了解其支持的模型范围与限流情况。
OpenAI 发布面向产品团队的应用指南,主题是让 AI 为产品团队工作。原文未披露具体功能、价格或可用性细节。
OpenRouter 宣布多个模型降价,降幅来自 DeepInfra,进一步压低了这些模型的最低价。
推荐理由:OpenRouter 公布多个模型由 DeepInfra 带来的降价幅度与新旧单价,可据此比较调用成本。
Ollama 现已支持结构化输出,可将模型输出约束为 JSON schema 定义的特定格式,其 Python 和 JavaScript 库已同步更新。使用场景包括从文档解析数据、从图片提取数据以及结构化所有语言模型响应,官方称比 JSON mode 更可靠一致。
Neon 宣布推出 MCP Server,用于把自身能力接入 LLM 与 agent。此前 Anthropic 刚推出开放协议 Model Context Protocol,让 LLM 更容易对接外部数据源与工具。Neon 表示已基于该协议完成接入。
Replicate 宣布 FLUX 微调运行速度大幅提升,微调后的运行速度已与基础模型相同:FLUX.1 [schnell] 在 512x512、4 步下为 0.6 秒(P50),FLUX.1 [dev] 在 1024x1024、28 步下为 2.8 秒(P50)。
推荐理由:Replicate 公布 FLUX 微调提速的具体延迟数字与开源优化方式,并说明如何关闭这些优化。
Ollama Python library 0.4 发布,支持把 Python 函数直接作为 tools 传给 Ollama,并新增完整类型支持与示例。库通过 Pydantic 和 docstring 解析自动生成 JSON Schema,此前需手动提供;现有 Python 库、SDK 中的函数也可作为工具传入。升级命令为 pip install -U ollama。
OpenAI 发布案例,介绍如何用 GPT-4o 的视觉微调能力构建更智能的地图。
Vercel 发布 AI SDK 4.0,为 Anthropic、Google Generative AI 和 Google Vertex AI 增加 PDF 支持,并加入 Anthropic Claude 的 computer use 支持。
推荐理由:Vercel 官方发布 AI SDK 4.0,列出 PDF、computer use、续写等新能力与迁移方式,可据此判断升级成本。
Mistral AI 为免费生成式 AI 工作助手 le Chat 推出多项 beta 功能:带引用的联网搜索、用于构思与行内编辑及导出的 Canvas、由新多模态模型 Pixtral Large 支持的文档与图像理解、由 Black Forest Labs Flux Pro 支持的图像生成,以及可自动执行重复工作流并分享给同事的 Agents。
推荐理由:Mistral 官方公布 le Chat 新增联网搜索、Canvas、图像生成与 Agents,并给出与 ChatGPT、Perplexity、Claude 的功能对照。
Replicate 为支持的硬件类型新增 NVIDIA L40S GPU,速度比 A40 约快 40%,并将在未来几周内把现有模型和部署从 A40 迁移到 L40S。
推荐理由:Replicate 官方公布 L40S 上线与 A40 迁移时间表,并给出私有模型与公开模型两类计费差异。
Neon 与 Wordware 在一场圆桌讨论中分享了构建更智能 AI Agent 的思路,并附上 Wordware 的演示。Neon 方面由高级开发者布道师 Raouf Chebri 参与对谈,内容以对话摘要形式整理发布,方便读者快速浏览。
Qwen2.5-Turbo 把上下文长度从 128k 扩展到 1M tokens,约等于 100 万英文单词或 150 万汉字,在 1M 长度 Passkey Retrieval 任务上准确率 100%,RULER 得分 93.1,超过 GPT-4 的 91.6。
推荐理由:Qwen2.5-Turbo 把上下文从 128k 扩到 1M,并给出首 token 延迟与价格对比,可据此判断长文本场景是否值得迁移。
Replit Agent 是 Replit 开发环境中的 AI 工具,可用自然语言生成代码、创建应用并修改现有功能。文章考察了它在数据库方面的处理方式。
Mistral 在 La Plateforme 上线 Batch API,处理高并发请求的成本比同步 API 调用低 50%。使用方式是上传批量文件、处理完成后下载输出文件,适用于客户反馈与情感分析、文档批量摘要与翻译、为搜索索引生成向量嵌入以及数据标注等场景。该接口覆盖 La Plateforme 上的全部模型,每个工作区最多 100 万个进行中的请求,后续将登陆其云服务商合作伙伴。
推荐理由:Mistral 在多家 API 涨价背景下推出批量接口,成本比同步调用低 50%,可对照自己的批量任务量评估迁移。
Neon 从一年多前开始尝试 AI 实验,近期才真正落地。文章以 Neon 自身实践为例,讲这家做了近 30 年 Postgres 的公司如何在 AI 热潮中保持创新。
OpenAI 为 ChatGPT 推出搜索功能,可提供快速、及时的答案并附上相关网络来源链接。
Decagon 与 OpenAI 合作,实现大规模、全自动的高性能客户支持。该方案面向需要规模化客服的场景,强调完全自动化交付。原文未披露具体价格、费率或客户数据。
Hugging Face 发布 HUGS(Hugging Face Generative AI Services),一套零配置的优化推理微服务,基于 Text Generation Inference 和 Transformers,可在自有基础设施上部署开源模型。
推荐理由:Hugging Face 官方发布零配置推理微服务 HUGS,给出定价与支持模型清单,可对照自建推理方案的成本与迁移路径。
Stability AI 的 Stable Diffusion 3.5 已在 Replicate 上线,提供 Large、Large Turbo 和 Medium 三个版本,Large Turbo 只需 4 步即可生成高质量图像。
推荐理由:Replicate 上线 Stable Diffusion 3.5 三个版本,并给出每张图价格与商用授权门槛,便于开发者评估接入成本。
Hugging Face 发布 Speech-to-Speech(S2S)项目,用 VAD、STT、LM、TTS 级联管线实现语音进语音出,支持英语、法语、西班牙语、中文、日语和韩语,可用 auto 标志自动检测语言。由于本地运行对算力要求高,官方给出用自定义 Docker 镜像部署到 Inference Endpoints 的完整步骤,按运行时长租用 GPU 计费。