Vercel 发布 AI SDK 4.0,新增 PDF 支持与 Anthropic computer use
Vercel 发布 AI SDK 4.0,为 Anthropic、Google Generative AI 和 Google Vertex AI 增加 PDF 支持,并加入 Anthropic Claude 的 computer use 支持。
推荐理由:Vercel 官方发布 AI SDK 4.0,列出 PDF、computer use、续写等新能力与迁移方式,可据此判断升级成本。
Vercel 发布 AI SDK 4.0,为 Anthropic、Google Generative AI 和 Google Vertex AI 增加 PDF 支持,并加入 Anthropic Claude 的 computer use 支持。
推荐理由:Vercel 官方发布 AI SDK 4.0,列出 PDF、computer use、续写等新能力与迁移方式,可据此判断升级成本。
Mistral AI 为免费生成式 AI 工作助手 le Chat 推出多项 beta 功能:带引用的联网搜索、用于构思与行内编辑及导出的 Canvas、由新多模态模型 Pixtral Large 支持的文档与图像理解、由 Black Forest Labs Flux Pro 支持的图像生成,以及可自动执行重复工作流并分享给同事的 Agents。
推荐理由:Mistral 官方公布 le Chat 新增联网搜索、Canvas、图像生成与 Agents,并给出与 ChatGPT、Perplexity、Claude 的功能对照。
Replicate 为支持的硬件类型新增 NVIDIA L40S GPU,速度比 A40 约快 40%,并将在未来几周内把现有模型和部署从 A40 迁移到 L40S。
推荐理由:Replicate 官方公布 L40S 上线与 A40 迁移时间表,并给出私有模型与公开模型两类计费差异。
Neon 与 Wordware 在一场圆桌讨论中分享了构建更智能 AI Agent 的思路,并附上 Wordware 的演示。Neon 方面由高级开发者布道师 Raouf Chebri 参与对谈,内容以对话摘要形式整理发布,方便读者快速浏览。
Qwen2.5-Turbo 把上下文长度从 128k 扩展到 1M tokens,约等于 100 万英文单词或 150 万汉字,在 1M 长度 Passkey Retrieval 任务上准确率 100%,RULER 得分 93.1,超过 GPT-4 的 91.6。
推荐理由:Qwen2.5-Turbo 把上下文从 128k 扩到 1M,并给出首 token 延迟与价格对比,可据此判断长文本场景是否值得迁移。
Replit Agent 是 Replit 开发环境中的 AI 工具,可用自然语言生成代码、创建应用并修改现有功能。文章考察了它在数据库方面的处理方式。
Mistral 在 La Plateforme 上线 Batch API,处理高并发请求的成本比同步 API 调用低 50%。使用方式是上传批量文件、处理完成后下载输出文件,适用于客户反馈与情感分析、文档批量摘要与翻译、为搜索索引生成向量嵌入以及数据标注等场景。该接口覆盖 La Plateforme 上的全部模型,每个工作区最多 100 万个进行中的请求,后续将登陆其云服务商合作伙伴。
推荐理由:Mistral 在多家 API 涨价背景下推出批量接口,成本比同步调用低 50%,可对照自己的批量任务量评估迁移。
Neon 从一年多前开始尝试 AI 实验,近期才真正落地。文章以 Neon 自身实践为例,讲这家做了近 30 年 Postgres 的公司如何在 AI 热潮中保持创新。
OpenAI 发布面向营销团队的 AI 应用指南,帮助营销人员把 AI 投入实际工作。内容围绕营销场景展开,未披露具体功能、价格或可用地区。
Decagon 与 OpenAI 合作,实现大规模、全自动的高性能客户支持。该方案面向需要规模化客服的场景,强调完全自动化交付。原文未披露具体价格、费率或客户数据。
Hugging Face 发布 HUGS(Hugging Face Generative AI Services),一套零配置的优化推理微服务,基于 Text Generation Inference 和 Transformers,可在自有基础设施上部署开源模型。
推荐理由:Hugging Face 官方发布零配置推理微服务 HUGS,给出定价与支持模型清单,可对照自建推理方案的成本与迁移路径。
Stability AI 的 Stable Diffusion 3.5 已在 Replicate 上线,提供 Large、Large Turbo 和 Medium 三个版本,Large Turbo 只需 4 步即可生成高质量图像。
推荐理由:Replicate 上线 Stable Diffusion 3.5 三个版本,并给出每张图价格与商用授权门槛,便于开发者评估接入成本。
Hugging Face 发布 Speech-to-Speech(S2S)项目,用 VAD、STT、LM、TTS 级联管线实现语音进语音出,支持英语、法语、西班牙语、中文、日语和韩语,可用 auto 标志自动检测语言。由于本地运行对算力要求高,官方给出用自定义 Docker 镜像部署到 Inference Endpoints 的完整步骤,按运行时长租用 GPU 计费。
Ideogram v2 在 Replicate API 上线,并推出新的图像修复(inpainting)功能,提供 ideogram-ai/ideogram-v2 和 ideogram-ai/ideogram-v2-turbo 两个版本,前者画质最佳、后者更快。
Mistral AI 发布 Ministral 3B 和 Ministral 8B 两款面向端侧与边缘计算的模型,支持最高 128k 上下文(vLLM 上目前为 32k),8B 采用交错滑动窗口注意力以提升推理速度并降低内存占用。
推荐理由:Mistral 发布两款 3B 与 8B 边缘模型,给出 API 定价和基准对比,可据此评估端侧与 Agent 场景的选型成本。
Replicate 宣布 FLUX 在其平台上的推理速度大幅提升,FLUX.1 [schnell] 在 512x512、4 步下为 0.29 秒(P90 0.49 秒),1024x1024、4 步下为 0.72 秒(P90 0.95 秒),FLUX.1 [dev] 在 1024x1024、28 步下为 3.03 秒(P90 3.90 秒)。
推荐理由:Replicate 公开了 FLUX 提速的具体做法和端到端延迟数据,并开源优化代码,可了解推理加速路径。
PostHog 在社区问答区接入 Inkeep,用 AI 自动回答高置信度问题,约 20 秒内返回结果,置信度不足则提示暂无答案并转交人工。
Replicate 上线 Black Forest Labs 的新模型 FLUX1.1 [pro],生成速度是 FLUX.1 [pro] 的 6 倍,图像质量、提示词遵循度和输出多样性均有提升,在 Replicate 上定价为每张 $0.04。
推荐理由:Replicate 上线 Black Forest Labs 的 FLUX1.1 [pro],给出每张 $0.04 的定价和提速数据,可据此评估图像生成成本。
OpenAI 发布 Realtime API,开发者现在可以在自己的应用中构建快速的语音到语音体验。该 API 面向需要实时语音交互的应用场景,具体定价与接入方式未在摘要中说明。
推荐理由:OpenAI 发布 Realtime API,开发者可据此在应用中接入语音到语音的实时交互能力。
OpenAI 为微调 API 引入视觉能力,开发者现在可以用图像和文本微调 GPT-4o,以提升其视觉表现。
OpenAI 在 API 中推出 Prompt Caching,对模型近期已经见过的输入自动提供折扣。该功能面向 API 调用方,输入部分会自动降价,无需额外配置。
OpenAI 在 API 中推出模型蒸馏功能,开发者可用大模型(frontier model)的输出微调出成本更低的模型,全程在 OpenAI 平台上完成。该功能面向希望降低推理成本的开发者,无需借助外部工具即可实现。
OpenAI 发布文章,介绍如何用 AI 自动化并扩展财务运营。内容聚焦将 AI 投入实际财务工作流程,以实现自动化处理与规模化运营。原文未披露具体产品名、价格、费率或版本号。
OpenAI 推出基于 GPT-4o 的新多模态审核模型,用于升级 Moderation API,能更准确地检测有害文本和图像。该模型面向开发者,可帮助构建更稳健的审核系统。
Meta 的 Llama 3.2 现已可通过 Ollama 运行,执行 ollama run llama3.2 即可使用。1B 和 3B 为纯文本模型,针对手机或边缘设备本地运行优化,可用于构建端侧个性化 Agent,处理在本地完成以保护隐私。11B 和 90B 为视觉模型,支持图表等文档理解和图像描述,官方称即将推出。
Mercado Libre 推出 AI 开发者平台 Verdi,由 GPT-4o 驱动。该平台面向开发者,具体功能、定价与可用范围尚未披露。
Livebook 结合 FLAME 与 Nx 栈,可从笔记本直接启动运行在 Fly.io 云上 Fly Machine 的运行时,并调度 GPU 机器做 AI 计算。演示中 FLAME 池把视频抽帧交给 GPU 上的 Llama 生成描述、再由 Mistral 汇总,并支持 64 台 L40s GPU 机器做 BERT 超参调优。
Vercel 发布 AI SDK 3.4,为这个用 JavaScript 和 TypeScript 构建 AI 应用的开源工具包加入语言模型中间件、数据流协议、结构化输出、多步调用、追踪改进和 mock 模型测试等能力。
推荐理由:AI SDK 3.4 新增语言模型中间件、数据流协议与多步调用,用 JS/TS 构建 AI 应用的开发者可据此评估升级。
Bespoke Labs 开发的事实核查模型 Bespoke-Minicheck 已在 Ollama 上线,可对其他模型生成的回答做核查以检测并减少幻觉。它接收文档与待核查声明,若文档支持则输出 Yes,否则输出 No,适合作为 RAG 应用的后处理步骤,确保回答基于检索到的上下文。运行命令为 `ollama run bespoke-minicheck`。
Replit 推出 AI 软件工程师 Replit Agent,可帮助构建全栈应用,内置规划器、代码编辑器,并集成 Discord、Stripe 等第三方 API,还能创建和部署由 Neon 提供支持的 Postgres 数据库。该教程演示如何用 Replit Agent 一步步搭建一个新闻应用。
Mistral 为 la Plateforme 推出免费额度,开发者可零成本做实验、评估和原型开发,之后可平滑升级到商业版并享受数据隔离与更高速率限制。全线模型降价,Mistral Small 与 Codestral 输入输出价格均降 80%,Mistral Large 降 33%,Mistral Nemo 降 50%。
推荐理由:Mistral 公布全线模型降价与免费额度,开发者可据此重新核算 API 调用成本。
Replicate 发布教程,教你用其 HTTP API 以编程方式创建并运行自己微调的 FLUX.1 模型。训练按秒计费,跑在 Nvidia H100 上,费率 $0.001528/秒,20 分钟训练(约 20 张图、1000 步)约 $1.85,起步预算 2-3 美元。
Ada 借助 GPT-4 提升客户服务标准。原文未披露具体定价、费率或增长数据。
Replicate 支持用少量照片微调 FLUX.1,训练约 20 分钟、花费约 $1.85,即可生成自己扮演超级英雄、卡通角色等形象。训练在 Nvidia H100 上按 $0.001528/秒计费,建议至少 10 张 1024x1024 以上图片、1000 steps,并设置唯一触发词。
Supabase 博客演示了如何用 PGlite 和 Transformers.js 在浏览器内实现语义 AI 搜索:将文本嵌入向量存入 PGlite 的 embeddings 表,直接在客户端完成相似度检索,无需后端服务。示例以 Bed、Car 等词条写入向量数据,展示本地化语义搜索的可行路径。
OpenAI 举办了一场关于 GPT-4o 微调(Fine-tuning)的网络研讨会。
Hugging Face Hub 拥有超 85 万个公开模型、每月新增约 5 万个,但其中 ZeroGPU、多进程 Docker、Gradio API、Webhooks 和 Nomic Atlas 这 5 项功能常被忽视。
Supabase Edge Functions 在 Ollama 之外新增 Mozilla Llamafile 作为推理服务器,后者以单文件在本地运行 LLM,并提供兼容 OpenAI API 的服务端。
OpenAI 宣布 GPT-4o 现已支持微调功能。材料仅提供标题,未给出价格、可用范围或具体能力细节。
Wordware 与 Neon 合作,让 AI agent 的构建和迭代更快。借助 Neon 的预览分支,团队能在迁移于主数据库副本上出错时提前发现问题,并在进入生产环境前修复。