跳到正文
原文
Cloudflare Changelog·· 2025-04-11精选AI 评分60

Cloudflare Workers AI 开发者周更新:推理提速 2-4 倍、新增模型与异步批量 API

Workers AI - Workers AI for Developer Week - faster inference, new models, async batch API, expanded LoRA support

AI 导读

Cloudflare Workers AI 在 2025 开发者周宣布多项更新,部分模型推理速度提升 2-4 倍,其中 @cf/meta/llama-3.3-70b-instruct-fp8-fast 借助推测解码、前缀缓存和更新后的推理后端实现 2-4 倍提速,三个 bge 模型后端更新后推理时间约提升 2 倍。

推荐理由

Cloudflare Workers AI 在开发者周集中更新推理速度、新模型与批量 API,可据此评估自家 AI 功能的成本与迁移时机。

来源:Cloudflare Changelog · developers.cloudflare.com