Mistral 发布 OCR API mistral-ocr-latest,定价 1000 页/美元
Mistral 发布文档理解 OCR API mistral-ocr-latest,可接收图片和 PDF,按顺序输出交错的文本与图像,定价为 1000 页/美元,批量推理约可翻倍。
推荐理由:Mistral 发布 OCR API,给出 1000 页/美元定价与多项基准对比,可了解文档解析的选型参考。
Mistral 发布文档理解 OCR API mistral-ocr-latest,可接收图片和 PDF,按顺序输出交错的文本与图像,定价为 1000 页/美元,批量推理约可翻倍。
推荐理由:Mistral 发布 OCR API,给出 1000 页/美元定价与多项基准对比,可了解文档解析的选型参考。
Hugging Face 在 Hub 的模型页上线 fal、Replicate、SambaNova、Together AI 四家 serverless 推理服务商,并集成进 JS 和 Python 客户端 SDK。
推荐理由:Hugging Face 把四家 serverless 推理服务商接入模型页与 SDK,读者可据此比较调用方式与计费差异。
Replicate 将 @kohya_tech 的 Musubi Tuner 适配到自家平台,用户可以用自己的视频素材微调开源视频模型 HunyuanVideo。
推荐理由:Replicate 把 Musubi Tuner 搬上平台,读者可以按步骤微调 HunyuanVideo 并用自己的素材生成视频。
OpenRouter 发布 Reasoning Tokens 功能,在 Chatroom 和 API 中都能观察模型的推理步骤。使用时在 API 请求中加入 include_reasoning: true,推理内容会出现在每条消息的 reasoning 字段中。该功能首批支持 DeepSeek R1 系列模型,后续将支持 Gemini Thinking 模型。
推荐理由:OpenRouter 上线推理 token 功能,开发者可经 API 查看模型推理过程并接入工作流。
Vercel 发布 AI SDK 4.1,新增实验性 generateImage 函数,可通过统一 API 在 Replicate、OpenAI、Google Vertex AI 和 Fireworks 等提供商之间生成图像,切换提供商只需改两行代码。
推荐理由:Vercel 官方发布 AI SDK 4.1,新增图像生成与工具调用修复,可了解多模型统一 API 的最新能力边界。
OpenRouter 在 2025 年新年升级 Auto Router,现可路由至 19 个不同模型并按质量优化。Chatroom UI 现在更清楚地显示所用模型,该功能也可通过 API 使用。OpenRouter 正在测试由 Not Diamond 元模型驱动的路由,该 API 目前免费,但未来可能变化,并会提供更多自定义能力。
OpenRouter 推出网页搜索功能,可在 Chatroom 中为任意语言模型提供最新信息,目前免费,API 访问稍后开放。同时下调多款模型价格,qwen-2.5-coder-32b-instruct 降 12%,hermes-3-llama-3.1-70b、llama-3.3-70b-instruct、llama-3.1-70b-instruct 等降 31%。
推荐理由:OpenRouter 上线网页搜索并下调多款模型价格,读者可据此了解其能力与调用成本变化。
OpenRouter 为 OpenAI 4o 和 Fireworks 模型推出结构化输出,支持 JSON Schema 校验,保证类型安全且一致的响应,更多提供商即将支持。同时免费开放 Google 的 Gemini Flash 2.0,官方称其首 token 时间显著更快,多模态理解、编码能力和函数调用均有提升,但初期会严格限流以便在所有用户间共享访问。
推荐理由:OpenRouter 同时上线结构化输出与 Gemini Flash 2.0 免费入口,可了解其支持的模型范围与限流情况。
OpenAI 发布面向产品团队的应用指南,主题是让 AI 为产品团队工作。原文未披露具体功能、价格或可用性细节。
Ollama 现已支持结构化输出,可将模型输出约束为 JSON schema 定义的特定格式,其 Python 和 JavaScript 库已同步更新。使用场景包括从文档解析数据、从图片提取数据以及结构化所有语言模型响应,官方称比 JSON mode 更可靠一致。
Replicate 宣布 FLUX 微调运行速度大幅提升,微调后的运行速度已与基础模型相同:FLUX.1 [schnell] 在 512x512、4 步下为 0.6 秒(P50),FLUX.1 [dev] 在 1024x1024、28 步下为 2.8 秒(P50)。
推荐理由:Replicate 公布 FLUX 微调提速的具体延迟数字与开源优化方式,并说明如何关闭这些优化。
Vercel 发布 AI SDK 4.0,为 Anthropic、Google Generative AI 和 Google Vertex AI 增加 PDF 支持,并加入 Anthropic Claude 的 computer use 支持。
推荐理由:Vercel 官方发布 AI SDK 4.0,列出 PDF、computer use、续写等新能力与迁移方式,可据此判断升级成本。
Mistral AI 为免费生成式 AI 工作助手 le Chat 推出多项 beta 功能:带引用的联网搜索、用于构思与行内编辑及导出的 Canvas、由新多模态模型 Pixtral Large 支持的文档与图像理解、由 Black Forest Labs Flux Pro 支持的图像生成,以及可自动执行重复工作流并分享给同事的 Agents。
推荐理由:Mistral 官方公布 le Chat 新增联网搜索、Canvas、图像生成与 Agents,并给出与 ChatGPT、Perplexity、Claude 的功能对照。
Replicate 为支持的硬件类型新增 NVIDIA L40S GPU,速度比 A40 约快 40%,并将在未来几周内把现有模型和部署从 A40 迁移到 L40S。
推荐理由:Replicate 官方公布 L40S 上线与 A40 迁移时间表,并给出私有模型与公开模型两类计费差异。
Mistral 在 La Plateforme 上线 Batch API,处理高并发请求的成本比同步 API 调用低 50%。使用方式是上传批量文件、处理完成后下载输出文件,适用于客户反馈与情感分析、文档批量摘要与翻译、为搜索索引生成向量嵌入以及数据标注等场景。该接口覆盖 La Plateforme 上的全部模型,每个工作区最多 100 万个进行中的请求,后续将登陆其云服务商合作伙伴。
推荐理由:Mistral 在多家 API 涨价背景下推出批量接口,成本比同步调用低 50%,可对照自己的批量任务量评估迁移。
OpenAI 为 ChatGPT 推出搜索功能,可提供快速、及时的答案并附上相关网络来源链接。
Hugging Face 发布 HUGS(Hugging Face Generative AI Services),一套零配置的优化推理微服务,基于 Text Generation Inference 和 Transformers,可在自有基础设施上部署开源模型。
推荐理由:Hugging Face 官方发布零配置推理微服务 HUGS,给出定价与支持模型清单,可对照自建推理方案的成本与迁移路径。
Stability AI 的 Stable Diffusion 3.5 已在 Replicate 上线,提供 Large、Large Turbo 和 Medium 三个版本,Large Turbo 只需 4 步即可生成高质量图像。
推荐理由:Replicate 上线 Stable Diffusion 3.5 三个版本,并给出每张图价格与商用授权门槛,便于开发者评估接入成本。
Ideogram v2 在 Replicate API 上线,并推出新的图像修复(inpainting)功能,提供 ideogram-ai/ideogram-v2 和 ideogram-ai/ideogram-v2-turbo 两个版本,前者画质最佳、后者更快。
OpenAI 发布 Realtime API,开发者现在可以在自己的应用中构建快速的语音到语音体验。该 API 面向需要实时语音交互的应用场景,具体定价与接入方式未在摘要中说明。
推荐理由:OpenAI 发布 Realtime API,开发者可据此在应用中接入语音到语音的实时交互能力。
Vercel 发布 AI SDK 3.4,为这个用 JavaScript 和 TypeScript 构建 AI 应用的开源工具包加入语言模型中间件、数据流协议、结构化输出、多步调用、追踪改进和 mock 模型测试等能力。
推荐理由:AI SDK 3.4 新增语言模型中间件、数据流协议与多步调用,用 JS/TS 构建 AI 应用的开发者可据此评估升级。
Supabase 博客演示了如何用 PGlite 和 Transformers.js 在浏览器内实现语义 AI 搜索:将文本嵌入向量存入 PGlite 的 embeddings 表,直接在客户端完成相似度检索,无需后端服务。示例以 Bed、Car 等词条写入向量数据,展示本地化语义搜索的可行路径。
OpenAI 在 API 中推出 Structured Outputs,模型输出现在可以可靠地遵循开发者提供的 JSON Schema。该功能面向需要在 API 调用中获得稳定结构化数据的开发者。
推荐理由:OpenAI 在 API 中上线 Structured Outputs,模型输出可按开发者提供的 JSON Schema 返回,便于构建稳定的结构化数据流程。
Replicate 上线了 Black Forest Labs 开发的开源图像生成模型 FLUX.1,可用一行代码在云端调用。FLUX.1 分三个版本:FLUX.1 [pro] 每张 $0.055,FLUX.1 [dev] 每张 $0.030,FLUX.1 [schnell] 每张 0.003 美元,其中 [schnell] 采用 Apache 2.0 许可。
推荐理由:Replicate 官方上线 FLUX.1 并给出三个版本的单张价格,读者可据此比较接入成本。
Ollama 于 7 月 25 日宣布支持工具调用,模型可借助已知工具完成更复杂任务或与外部世界交互,例如函数与 API、网页浏览、代码解释器。开发者可在 Ollama API 的 tools 字段传入工具列表,受支持模型会返回 tool_calls 响应,工具结果通过 tool 角色的消息回传。
Hugging Face 为 TGI 推出 Multi-LoRA serving,只需部署一次基础模型,就能按请求动态切换多个 LoRA 适配器,官方示例用 mistralai/Mistral-7B-v0.1 同时服务 predibase/customer_support 和 predibase/magicoder。
推荐理由:Hugging Face 官方介绍 TGI 的 Multi-LoRA 部署方式,给出成本与用量对比,适合评估多模型推理方案。
Hugging Face 宣布 Google Cloud TPU v5e 已可在 Inference Endpoints 和 Spaces 上使用,用户选择 Google Cloud Platform 和 us-west1 区域后即可挑选 TPU 配置。
Vercel 发布 AI SDK 3.2,围绕 Agent、Provider、Embeddings 和开发体验四方面扩展能力。
Mistral AI 在 la Plateforme 上线模型定制功能,提供三种微调入口:开源微调 SDK mistral-finetune、la Plateforme 上的无服务器微调服务,以及面向特定客户的定制训练服务。
推荐理由:Mistral 官方发布微调能力,给出开源 SDK、托管服务与定制训练三条路径,便于开发者按成本与数据条件选择。
Hugging Face 为 Inference Endpoints 新增 AWS Inferentia2 实例,用户可在 Amazon Web Services 实例配置中选择 Inf2 选项,几步点击即可部署模型。
Vercel 发文列出 7 个可立即加入应用的 AI 功能,包括语义搜索、自然聊天机器人、个性化推荐、即时本地化等。文中举例 Klarna 的 OpenAI 聊天机器人客户满意度与人工相当,解决问题快 80%,承担 700 名全职客服的工作量,带来 $40M 净收入。Vercel 提供原生 AI 支持及全托管的扩缩容、流式与缓存基础设施,按实际用量付费。
Vercel 发布 AI SDK 3.1,并宣布 ModelFusion 团队加入。新版本包含 AI SDK Core、AI SDK UI 和 AI SDK RSC 三部分。
推荐理由:Vercel 官方发布 AI SDK 3.1,统一多家模型调用接口并新增 streamUI,可据此评估是否替换现有 LLM 集成方案。
Supabase 在 Edge Functions 的 Edge Runtime 中内置了 Supabase.ai API,用几行代码即可运行 AI 推理,目前支持 gte-small 生成 embedding,并实验性支持 Llama 和 Mistral 等开源 LLM。
推荐理由:Supabase 在 Edge Functions 内置 AI 推理 API,开发者可几行代码生成 embedding,并了解与 OpenAI 的成本对比。
Hugging Face 宣布在 Hub 上线 Deploy on Cloudflare Workers AI 集成,开发者可在模型页的 Deploy 菜单选择 Cloudflare Workers AI,通过 Workers AI REST API 或 Cloudflare AI SDK 调用 Llama、Gemma、Mistral 等开源模型,按请求计费、无需自管 GPU。
推荐理由:Hugging Face 与 Cloudflare 的这次集成已下线,但文中按请求计费的推理成本示例仍可作参考。
Vercel 发布 AI SDK 3.0,新增 Generative UI 能力,可通过 render 方法把 LLM 响应关联到流式 React Server Components,让模型调用工具后直接渲染自定义 UI,例如查询实时天气并返回组件。
推荐理由:Vercel 官方发布 AI SDK 3.0,把 LLM 响应映射到流式 React Server Components,并说明了对框架与模型的支持边界。
Hugging Face 为 Text Generation Inference(TGI)推出 Messages API,从 1.4.0 版本起提供与 OpenAI Chat Completion API 兼容的接口,并同步上线 Inference Endpoints 的专用与无服务器版本。
推荐理由:Hugging Face 官方发布 TGI 的 Messages API,给出从 OpenAI 迁移到开源模型的代码示例与限制说明。
Ollama 宣布内置兼容 OpenAI Chat Completions API,可在本地用同一套 OpenAI 格式调用模型,只需把 hostname 改为 http://localhost:11434。
OpenAI 的 GPT Store 已上线,Neon 借此发布了一个定制的 Neon 和 PostgreSQL OpenAI GPT 专家,用于回答 PostgreSQL 或 Neon 相关问题、协助项目。OpenAI 的 GPT 允许开发者创建定制 ChatGPT 体验,以执行特定任务或回答某一主题的问题。
推荐理由:Neon 借 OpenAI GPT Store 上线发布自家 PostgreSQL 定制 GPT,可了解数据库厂商如何接入 GPT 生态。
OpenAI 发布 GPT Store。材料仅提供标题,暂无更多细节。
Hugging Face 发布推理库 Optimum-NVIDIA,只需把 transformers 的 pipeline 导入改成 optimum.nvidia 一行代码,即可在 NVIDIA 平台获得最高 28 倍吞吐提升和 1,200 tokens/秒,首 token 延迟最高快 3.3 倍。
推荐理由:Hugging Face 官方发布 Optimum-NVIDIA,给出改一行代码即可提速的实测数据与代码示例。