Fly.io 将 NVIDIA L40S GPU 价格砍半至每小时 1.25 美元
Fly.io 宣布把 NVIDIA L40S GPU 的价格下调到每小时 1.25 美元，与 A10 同价，用户使用 L40S 不再比 A10 多付费用。Fly.io 称其 GPU 目录中 A10 最受欢迎，用户主要跑推理而非训练，因此把定位为 A100 级性能的 L40S 降到 A10 价位。
推荐理由：Fly.io 把 L40S 降到与 A10 同价，并公开了用户实际更偏好中低端推理卡的数据。
主题：自动化与工作流
主题：自动化与工作流
今日 12 条Fly.io Blog精选AI 评分6262 Replicate Blog精选AI 评分6060 Replicate 上线 FLUX.1 微调：用 Ostris AI Toolkit 训练自己的图像模型
Replicate 现在支持用 Ostris 的 AI Toolkit 微调 FLUX.1 [dev]，通过上传少量示例图片即可让模型学会新的风格、角色或物体，训练采用 LoRA 技术。
推荐理由：Replicate 官方给出 FLUX.1 微调的完整流程与成本，含数据准备、参数和定价细节。
Replit BlogAI 评分2222 Replit 如何在海量代码中理解用户行为
Replit 存储了超过 3 亿个软件仓库，规模与 GitHub、Bitbucket 同级，并借助 Operational Transformation（OT）协议和执行日志记录每个项目的时间线。
OpenAI NewsAI 评分1010 OpenAI 谈如何将数据与 API 配对释放客户价值
OpenAI 发布文章，讨论将数据与 API 配对以释放客户价值，并以 Rakuten 为例说明其如何借助 AI 打通数据、挖掘客户洞察与价值。
Mistral NewsAI 评分4040 Mistral AI 推出模型定制、Agents 与 mistralai 1.0 SDK
Mistral AI 在 La Plateforme 上线模型定制功能，支持对 Mistral Large 2、Codestral 等旗舰与专用模型用 base prompt、few-shot prompting 或 fine-tuning 定制，并可自带数据集。
Vercel NewsAI 评分4242 Vercel AI SDK 3.3 发布：新增 Tracing、多模态附件与 useObject hook
Vercel AI SDK 3.3 发布，新增四项主要功能：基于 OpenTelemetry 的 Tracing、多模态文件附件、useObject hook 以及更多 LLM 设置，前三项均为实验性功能。
Vercel NewsAI 评分1515 Vercel 如何把 AI 集成进你的业务：一份 AI 功能开发框架指南
Vercel 发布了一份把 AI 集成进业务的战略指南，并推出 VIA-AI 评估框架，从价值潜力、集成可行性、战略一致性、业务逻辑增强、数据质量、性能扩展性、安全合规与用户信任七个维度按 1-5 分给 AI 用例打分。平均分高于 4 分即可着手实施，低于 3 分则需重新评估短板。指南还建议为 AI 项目设定模型准确率、响应时间、转化率、客户留存率等技术与业务 KPI。
OpenAI News精选AI 评分6060 OpenAI 在 API 中推出 Structured Outputs
OpenAI 在 API 中推出 Structured Outputs，模型输出现在可以可靠地遵循开发者提供的 JSON Schema。该功能面向需要在 API 调用中获得稳定结构化数据的开发者。
推荐理由：OpenAI 在 API 中上线 Structured Outputs，模型输出可按开发者提供的 JSON Schema 返回，便于构建稳定的结构化数据流程。
Replicate Blog精选AI 评分6262 Replicate 上线 FLUX.1 图像生成模型 API
Replicate 上线了 Black Forest Labs 开发的开源图像生成模型 FLUX.1，可用一行代码在云端调用。FLUX.1 分三个版本：FLUX.1 [pro] 每张 $0.055，FLUX.1 [dev] 每张 $0.030，FLUX.1 [schnell] 每张 0.003 美元，其中 [schnell] 采用 Apache 2.0 许可。
推荐理由：Replicate 官方上线 FLUX.1 并给出三个版本的单张价格，读者可据此比较接入成本。
Neon BlogAI 评分4040 Neon 博客：别用 vector，改用 halvec 可省 50% 存储成本
pgvector 最新版本加入量化功能，可缩小向量与索引占用，并加快 RAG 应用的索引构建与预热时间。Neon 的 Postgres 数据库均自带 pgvector，可免费创建数据库试用。文章建议用 halvec 替代 vector，以节省 50% 存储成本。
Hugging Face BlogAI 评分2222 Hugging Face 与 NVIDIA 推出 NVIDIA NIM API（serverless）无服务器推理
Hugging Face 面向 Enterprise Hub 组织推出 NVIDIA NIM API（serverless），基于 NVIDIA DGX Cloud 提供无服务器推理，按请求计算时间计费。
Ollama BlogAI 评分6060 Ollama 上线工具调用，支持 Llama 3.1 等模型
Ollama 于 7 月 25 日宣布支持工具调用，模型可借助已知工具完成更复杂任务或与外部世界交互，例如函数与 API、网页浏览、代码解释器。开发者可在 Ollama API 的 tools 字段传入工具列表，受支持模型会返回 tool_calls 响应，工具结果通过 tool 角色的消息回传。
Mistral News精选AI 评分6262 Mistral 发布 Mistral Large 2，123B 参数支持 128k 上下文
Mistral AI 发布 Mistral Large 2，模型规模 123B 参数，支持 128k 上下文窗口和数十种语言，可在单节点上实现大吞吐推理。
推荐理由：Mistral Large 2 的 128k 上下文、123B 参数与单节点推理定位，是评估自部署成本与多语言能力的直接参考。
Replicate Blog精选AI 评分6060 Replicate 上线 Meta Llama 3.1 405B API，支持一行代码调用
Replicate 宣布可通过其 API 运行 Meta 的 Llama 3.1 405B 模型，该模型有 4050 亿参数、8000 token 上下文窗口，官方称其在多项基准上接近或达到 GPT-4 水平。Replicate 提供了 JavaScript、Python 和 cURL 三种调用方式，并给出 Next.js 示例聊天应用，可部署在 Vercel 上。
推荐理由：Replicate 官方给出 Llama 3.1 405B 的 API 调用方式，含 JavaScript、Python 与 cURL 三种示例。
Neon BlogAI 评分3131 用自然语言与 Neon Postgres 对话：AskYourDatabase 介绍
AskYourDatabase 让非技术团队成员用自然语言与 Neon Postgres 数据库交互，无需编写 SQL 查询。SQL 数据库对非技术成员往往难以使用，通常需要定制 GUI 工具，而写 SQL 会成为获取数据的障碍，AI 可在此提供帮助。
OpenAI News精选AI 评分6262 OpenAI 发布 GPT-4o mini，主打低成本智能
OpenAI 发布 GPT-4o mini，定位为更具成本效率的智能模型。材料仅提供标题，未包含正文内容，具体价格与能力细节暂无法确认。
Hugging Face Blog精选AI 评分6262 Hugging Face TGI 推出 Multi-LoRA：一次部署服务 30 个模型
Hugging Face 为 TGI 推出 Multi-LoRA serving，只需部署一次基础模型，就能按请求动态切换多个 LoRA 适配器，官方示例用 mistralai/Mistral-7B-v0.1 同时服务 predibase/customer_support 和 predibase/magicoder。
推荐理由：Hugging Face 官方介绍 TGI 的 Multi-LoRA 部署方式，给出成本与用量对比，适合评估多模型推理方案。
Mistral News精选AI 评分6262 Mistral 发布 Codestral Mamba 代码模型，Apache 2.0 许可可免费使用
Mistral 发布 Codestral Mamba，一个基于 Mamba 架构的代码模型，采用 Apache 2.0 许可，可免费使用、修改和分发。该模型具备线性时间推理能力，官方测试了最高 256k tokens 的上下文检索，并称其表现与 SOTA Transformer 模型相当。
推荐理由：Mistral 发布 Codestral Mamba，给出线性时间推理、256k 上下文测试和 Apache 2.0 许可，可对照其与 Transformer 代码模型的差异。
Hugging Face BlogAI 评分5454 Hugging Face 在 Inference Endpoints 和 Spaces 上线 Google Cloud TPU v5e
Hugging Face 宣布 Google Cloud TPU v5e 已可在 Inference Endpoints 和 Spaces 上使用，用户选择 Google Cloud Platform 和 us-west1 区域后即可挑选 TPU 配置。
Hugging Face BlogAI 评分1818 XLSCOUT 发布 ParaEmbed 2.0：面向专利与 IP 的嵌入模型，获 Hugging Face 专家支持
多伦多 AI 专利公司 XLSCOUT 发布专有嵌入模型 ParaEmbed 2.0，经 Hugging Face Expert Support Program 协作，在人工专家整理的多领域专利数据上微调，准确率较 2023 年 10 月发布的 ParaEmbed 1.0 提升 23%。
Vercel NewsAI 评分5050 Vercel 发布 AI SDK 3.2，新增 Agent 多步工作流与 Embeddings 支持
Vercel 发布 AI SDK 3.2，围绕 Agent、Provider、Embeddings 和开发体验四方面扩展能力。
Replicate BlogAI 评分3131 Replicate 即将支持 NVIDIA H100 GPU
Replicate 宣布即将新增对 NVIDIA H100 GPU 的支持，此前平台已支持 NVIDIA T4、A40、A100 GPU 以及 CPU。想提前体验 H100 的用户可发邮件至 [email protected] 申请早期访问。
Replicate BlogAI 评分3838 用 Replicate API 运行 Stable Diffusion 3
Replicate 上线 Stability 最新的文生图模型 Stable Diffusion 3，可通过一行代码调用，模型标识为 stability-ai/stable-diffusion-3。
Mistral News精选AI 评分6262 Mistral 在 la Plateforme 推出模型微调能力
Mistral AI 在 la Plateforme 上线模型定制功能，提供三种微调入口：开源微调 SDK mistral-finetune、la Plateforme 上的无服务器微调服务，以及面向特定客户的定制训练服务。
推荐理由：Mistral 官方发布微调能力，给出开源 SDK、托管服务与定制训练三条路径，便于开发者按成本与数据条件选择。
Mistral NewsAI 评分1717 Mistral AI 举办微调黑客松：用全新 fine-tuning API 参赛，前 3 名各得 €2,500 API 额度
Mistral AI 于 2024 年 6 月 5 日至 30 日举办线上微调黑客松，参赛项目必须使用其全新的 fine-tuning API，前 3 名各获 €2,500 Mistral API 额度。
OpenAI NewsAI 评分2525 MavenAGI 推出基于 GPT-4 的 AI 客服代理
MavenAGI 推出一款基于 GPT-4 的 AI 客服代理，Tripadvisor、Clickup 和 Rho 等公司已在使用，用于节省时间并更好地服务客户。
Mistral News精选AI 评分6262 Mistral 发布首个代码模型 Codestral，22B 参数支持 80+ 语言
Mistral 发布首个代码模型 Codestral，22B 参数、32k 上下文，支持 80+ 编程语言，可完成代码补全、写测试和 fill-in-the-middle。
推荐理由：Mistral 首个代码模型 Codestral 的规格、基准与接入方式，适合关注代码补全选型的开发者参考。
Mistral News精选AI 评分6262 Mistral 推出非生产许可 MNPL，Codestral 首个适用
Mistral AI 发布非生产许可 MNPL，允许开发者将模型用于非商业用途并支持研究工作，商业使用则需另行安排。新发布的 Codestral 是首个采用该许可的模型，Mistral 表示仍会继续以 Apache 2.0 发布部分模型和代码，逐步形成 Apache 2.0 与 MNPL 两条产品线。
推荐理由：Mistral 推出非生产许可 MNPL，明确商业使用需另议，开发者可据此判断自家产品能否继续免费调用其模型。
Hugging Face BlogAI 评分5050 Hugging Face 在 Inference Endpoints 上线 AWS Inferentia2 实例
Hugging Face 为 Inference Endpoints 新增 AWS Inferentia2 实例，用户可在 Amazon Web Services 实例配置中选择 Inf2 选项，几步点击即可部署模型。
OpenAI NewsAI 评分2222 ChatGPT 数据分析功能改进：支持表格图表交互与 Google Drive、Microsoft OneDrive 直接添加文件
ChatGPT 的数据分析功能获得改进，用户现在可以与表格和图表进行交互，并直接从 Google Drive 和 Microsoft OneDrive 添加文件。
OpenAI News精选AI 评分6262 OpenAI 发布新旗舰模型 GPT-4o，可实时跨音频、视觉和文本推理
OpenAI 宣布推出新旗舰模型 GPT-4 Omni（GPT-4o），可实时跨音频、视觉和文本进行推理。该模型被定位为 OpenAI 的新旗舰模型。
推荐理由：OpenAI 发布新旗舰模型 GPT-4o，可实时跨音频、视觉和文本推理，关注模型能力变化的读者可了解其定位。
OpenAI News精选AI 评分6262 OpenAI 发布 GPT-4o，并向 ChatGPT 免费用户开放更多工具
OpenAI 发布最新旗舰模型 GPT-4o，同时把更多能力开放给 ChatGPT 免费用户。官方称此次发布包含新旗舰模型上线，以及面向免费用户的功能扩展。
推荐理由：OpenAI 发布新旗舰模型 GPT-4o，并首次把更多能力开放给 ChatGPT 免费用户。
Vercel NewsAI 评分2222 Vercel 分享 7 个可立即加入应用的 AI 功能
Vercel 发文列出 7 个可立即加入应用的 AI 功能，包括语义搜索、自然聊天机器人、个性化推荐、即时本地化等。文中举例 Klarna 的 OpenAI 聊天机器人客户满意度与人工相当，解决问题快 80%，承担 700 名全职客服的工作量，带来 $40M 净收入。Vercel 提供原生 AI 支持及全托管的扩缩容、流式与缓存基础设施，按实际用量付费。
Fly.io BlogAI 评分3434 Fly.io 工程师用 Ollama + PocketBase 搭一个开源 AI 图像描述服务
Fly.io 工程师 Nolan 用 Ollama 跑 LLaVA 模型、PocketBase 提供带认证的 API，搭出一套可自托管的开源 AI 图像描述服务，并配了一个最简 Python 客户端。
OpenAI NewsAI 评分2222 OpenAI 与 Stack Overflow 达成 API 合作
Stack Overflow 与 OpenAI 宣布达成 API 合作，将把 Stack Overflow 的技术知识平台与 OpenAI 的 LLM 模型能力结合，帮助开发者。
Hugging Face BlogAI 评分3838 Artificial Analysis 的 LLM 性能排行榜登陆 Hugging Face
Artificial Analysis 开发的 LLM 性能排行榜现已上线 Hugging Face，覆盖超过 100 个 serverless LLM API 端点，综合对比质量、价格与速度。
Vercel News精选AI 评分6060 Vercel 发布 AI SDK 3.1，ModelFusion 团队加入
Vercel 发布 AI SDK 3.1，并宣布 ModelFusion 团队加入。新版本包含 AI SDK Core、AI SDK UI 和 AI SDK RSC 三部分。
推荐理由：Vercel 官方发布 AI SDK 3.1，统一多家模型调用接口并新增 streamUI，可据此评估是否替换现有 LLM 集成方案。
OpenAI News精选AI 评分6060 OpenAI 宣布 GPT-4 API 正式可用，并公布旧版 Completions API 模型退役计划
OpenAI 宣布 GPT-4 API 正式可用，GPT-3.5 Turbo、DALL·E 和 Whisper API 也同步正式可用。OpenAI 同时公布旧版 Completions API 模型的弃用计划，这些模型将于 2024 年初退役。
推荐理由：OpenAI 宣布 GPT-4 API 正式可用，并给出旧版 Completions API 模型的退役时间表。
OpenAI News精选AI 评分6262 OpenAI 推出 ChatGPT 和 Whisper API
OpenAI 发布 ChatGPT 和 Whisper 的 API。
OpenAI NewsAI 评分2222 OpenAI 为 API 客户推出更多企业级功能
OpenAI 为 API 客户新增更多企业级功能，包括更多安全功能与控制项、Assistants API 的更新，以及帮助更好管理成本的工具，同时加强企业支持。