跳到正文

主题:基础设施与部署

今日 8 条
10月22日周二
10月16日周三
  1. Mistral News62

    Mistral 发布 Ministral 3B 与 8B 边缘模型

    Mistral AI 发布 Ministral 3B 和 Ministral 8B 两款面向端侧与边缘计算的模型,支持最高 128k 上下文(vLLM 上目前为 32k),8B 采用交错滑动窗口注意力以提升推理速度并降低内存占用。

    推荐理由:Mistral 发布两款 3B 与 8B 边缘模型,给出 API 定价和基准对比,可据此评估端侧与 Agent 场景的选型成本。

10月10日周四
  1. Replicate Blog60

    Replicate 让 FLUX 提速并开源优化代码

    Replicate 宣布 FLUX 在其平台上的推理速度大幅提升,FLUX.1 [schnell] 在 512x512、4 步下为 0.29 秒(P90 0.49 秒),1024x1024、4 步下为 0.72 秒(P90 0.95 秒),FLUX.1 [dev] 在 1024x1024、28 步下为 3.03 秒(P90 3.90 秒)。

    推荐理由:Replicate 公开了 FLUX 提速的具体做法和端到端延迟数据,并开源优化代码,可了解推理加速路径。

10月3日周四
  1. Replicate Blog62

    Replicate 上线 FLUX1.1 [pro],生成速度提升 6 倍、每张 $0.04

    Replicate 上线 Black Forest Labs 的新模型 FLUX1.1 [pro],生成速度是 FLUX.1 [pro] 的 6 倍,图像质量、提示词遵循度和输出多样性均有提升,在 Replicate 上定价为每张 $0.04。

    推荐理由:Replicate 上线 Black Forest Labs 的 FLUX1.1 [pro],给出每张 $0.04 的定价和提速数据,可据此评估图像生成成本。

10月1日周二
9月30日周一
9月26日周四
9月25日周三
  1. Ollama Blog62

    Ollama 上线 Llama 3.2,含 1B 到 90B 四个尺寸

    Meta 的 Llama 3.2 现已可通过 Ollama 运行,执行 ollama run llama3.2 即可使用。1B 和 3B 为纯文本模型,针对手机或边缘设备本地运行优化,可用于构建端侧个性化 Agent,处理在本地完成以保护隐私。11B 和 90B 为视觉模型,支持图表等文档理解和图像描述,官方称即将推出。

9月24日周二
9月20日周五
  1. Vercel News58

    Vercel 发布 AI SDK 3.4,新增语言模型中间件与数据流协议

    Vercel 发布 AI SDK 3.4,为这个用 JavaScript 和 TypeScript 构建 AI 应用的开源工具包加入语言模型中间件、数据流协议、结构化输出、多步调用、追踪改进和 mock 模型测试等能力。

    推荐理由:AI SDK 3.4 新增语言模型中间件、数据流协议与多步调用,用 JS/TS 构建 AI 应用的开发者可据此评估升级。

9月18日周三
  1. Ollama Blog40

    Ollama 上线 Bespoke-Minicheck:用事实核查减少幻觉

    Bespoke Labs 开发的事实核查模型 Bespoke-Minicheck 已在 Ollama 上线,可对其他模型生成的回答做核查以检测并减少幻觉。它接收文档与待核查声明,若文档支持则输出 Yes,否则输出 No,适合作为 RAG 应用的后处理步骤,确保回答基于检索到的上下文。运行命令为 `ollama run bespoke-minicheck`。

9月17日周二
  1. Mistral News73

    Mistral 发布 la Plateforme 免费额度并下调全线模型价格

    Mistral 为 la Plateforme 推出免费额度,开发者可零成本做实验、评估和原型开发,之后可平滑升级到商业版并享受数据隔离与更高速率限制。全线模型降价,Mistral Small 与 Codestral 输入输出价格均降 80%,Mistral Large 降 33%,Mistral Nemo 降 50%。

    推荐理由:Mistral 公布全线模型降价与免费额度,开发者可据此重新核算 API 调用成本。

9月9日周一
9月5日周四
8月30日周五
8月29日周四
8月26日周一
8月22日周四
8月21日周三
8月20日周二
8月19日周一
8月15日周四
  1. Vercel News20

    Vercel 如何用 AI SDK 修复国际域名的边缘错误

    Vercel 团队用 AI SDK 解决非英语字符域名购买失败的问题:Punycode 域名在 OpenSRS 注册时需附带语言代码,而系统此前将其设为可选未启用。语言检测库 CLD2 因域名过短失效后,团队改用 AI SDK 的 generateText 调用 OpenAI GPT-4o 生成 3 位语言代码,在近两个月失败的购买记录上测试达到 100% 成功率,并已上线生产环境。

  2. Fly.io Blog62

    Fly.io 将 NVIDIA L40S GPU 价格砍半至每小时 1.25 美元

    Fly.io 宣布把 NVIDIA L40S GPU 的价格下调到每小时 1.25 美元,与 A10 同价,用户使用 L40S 不再比 A10 多付费用。Fly.io 称其 GPU 目录中 A10 最受欢迎,用户主要跑推理而非训练,因此把定位为 A100 级性能的 L40S 降到 A10 价位。

    推荐理由:Fly.io 把 L40S 降到与 A10 同价,并公开了用户实际更偏好中低端推理卡的数据。

8月8日周四
8月7日周三
8月6日周二
  1. Vercel News15

    Vercel 如何把 AI 集成进你的业务:一份 AI 功能开发框架指南

    Vercel 发布了一份把 AI 集成进业务的战略指南,并推出 VIA-AI 评估框架,从价值潜力、集成可行性、战略一致性、业务逻辑增强、数据质量、性能扩展性、安全合规与用户信任七个维度按 1-5 分给 AI 用例打分。平均分高于 4 分即可着手实施,低于 3 分则需重新评估短板。指南还建议为 AI 项目设定模型准确率、响应时间、转化率、客户留存率等技术与业务 KPI。

  2. OpenAI News60

    OpenAI 在 API 中推出 Structured Outputs

    OpenAI 在 API 中推出 Structured Outputs,模型输出现在可以可靠地遵循开发者提供的 JSON Schema。该功能面向需要在 API 调用中获得稳定结构化数据的开发者。

    推荐理由:OpenAI 在 API 中上线 Structured Outputs,模型输出可按开发者提供的 JSON Schema 返回,便于构建稳定的结构化数据流程。

8月1日周四
  1. Replicate Blog62

    Replicate 上线 FLUX.1 图像生成模型 API

    Replicate 上线了 Black Forest Labs 开发的开源图像生成模型 FLUX.1,可用一行代码在云端调用。FLUX.1 分三个版本:FLUX.1 [pro] 每张 $0.055,FLUX.1 [dev] 每张 $0.030,FLUX.1 [schnell] 每张 0.003 美元,其中 [schnell] 采用 Apache 2.0 许可。

    推荐理由:Replicate 官方上线 FLUX.1 并给出三个版本的单张价格,读者可据此比较接入成本。

7月29日周一
7月25日周四