Vercel 发布 AI SDK 3.0,支持 Generative UI
Vercel 发布 AI SDK 3.0,新增 Generative UI 能力,可通过 render 方法把 LLM 响应关联到流式 React Server Components,让模型调用工具后直接渲染自定义 UI,例如查询实时天气并返回组件。
推荐理由:Vercel 官方发布 AI SDK 3.0,把 LLM 响应映射到流式 React Server Components,并说明了对框架与模型的支持边界。
各家模型与推理服务的定价、免费额度与限流:一次调用多少钱,直接决定 AI 功能能不能赚钱。
Vercel 发布 AI SDK 3.0,新增 Generative UI 能力,可通过 render 方法把 LLM 响应关联到流式 React Server Components,让模型调用工具后直接渲染自定义 UI,例如查询实时天气并返回组件。
推荐理由:Vercel 官方发布 AI SDK 3.0,把 LLM 响应映射到流式 React Server Components,并说明了对框架与模型的支持边界。
Mistral 发布旗舰文本生成模型 Mistral Large,可通过 la Plateforme 和 Azure 使用,Azure 是其首个分发合作伙伴。该模型支持 32K tokens 上下文窗口、原生函数调用和 JSON 格式输出,官方称其在常用基准测试中位列 API 可用模型第二(仅次于 GPT-4)。
推荐理由:Mistral 官方发布旗舰模型 Mistral Large 并首次上架 Azure,可了解其能力定位与端点调整。
Hugging Face 发布教程,演示用开源 Mixtral-8x7B-Instruct-v0.1 生成合成数据,再微调出约 0.13B 参数的 RoBERTa-base 模型做金融新闻投资者情绪分类。
推荐理由:Hugging Face 用开源 LLM 生成合成数据再蒸馏小模型,给出成本、延迟与碳排放的完整对比。
Supabase 实测了 OpenAI text-embedding-3 系列嵌入的 Matryoshka 特性,用 100 万条 dbpedia 向量验证 Adaptive Retrieval 两段式检索。
推荐理由:Supabase 用 100 万条向量实测了 OpenAI 新嵌入模型的降维检索,给出可复用的两段式查询参数。
Hugging Face 为 Text Generation Inference(TGI)推出 Messages API,从 1.4.0 版本起提供与 OpenAI Chat Completion API 兼容的接口,并同步上线 Inference Endpoints 的专用与无服务器版本。
推荐理由:Hugging Face 官方发布 TGI 的 Messages API,给出从 OpenAI 迁移到开源模型的代码示例与限制说明。
这篇教程分步讲解如何把复杂的 ComfyUI 工作流转成简单的 Gradio 应用,并部署到 Hugging Face Spaces 的 ZeroGPU 无服务器结构上免费运行。
推荐理由:原文给出把 ComfyUI 工作流转成 Gradio 应用并部署到 Hugging Face Spaces ZeroGPU 的完整步骤,可照着复现。
OpenAI 的 GPT Store 已上线,Neon 借此发布了一个定制的 Neon 和 PostgreSQL OpenAI GPT 专家,用于回答 PostgreSQL 或 Neon 相关问题、协助项目。OpenAI 的 GPT 允许开发者创建定制 ChatGPT 体验,以执行特定任务或回答某一主题的问题。
推荐理由:Neon 借 OpenAI GPT Store 上线发布自家 PostgreSQL 定制 GPT,可了解数据库厂商如何接入 GPT 生态。
OpenAI 发布 GPT Store。材料仅提供标题,暂无更多细节。
Hugging Face 博客介绍社区轻量库 Unsloth,与 transformers、PEFT、TRL 完全兼容,通过将 PyTorch 模块改写为 Triton kernel 实现微调加速,官方称相比标准 QLoRA 精度损失为 0%。
推荐理由:原文给出 Unsloth 与 TRL 的集成方式和 59 次基准测试数据,可据此判断是否替换现有微调流程。
Mistral AI 发布稀疏专家混合模型 Mixtral 8x7B,采用 Apache 2.0 许可开放权重,在多数基准上超过或持平 Llama 2 70B 与 GPT3.5,推理速度比 Llama 2 70B 快 6 倍。
推荐理由:Mistral 发布 Apache 2.0 许可的开放权重模型,给出与 Llama 2 70B、GPT3.5 的基准对比和部署方式。
Mistral AI 开放首个平台服务 La Plateforme 的测试版,提供三个对话端点和嵌入端点,各端点性能与价格不同。
推荐理由:Mistral AI 开放平台测试版,给出三个对话端点和嵌入端点的模型、语言支持与 MT-Bench 分数,便于开发者对比选型。
Hugging Face 发布推理库 Optimum-NVIDIA,只需把 transformers 的 pipeline 导入改成 optimum.nvidia 一行代码,即可在 NVIDIA 平台获得最高 28 倍吞吐提升和 1,200 tokens/秒,首 token 延迟最高快 3.3 倍。
推荐理由:Hugging Face 官方发布 Optimum-NVIDIA,给出改一行代码即可提速的实测数据与代码示例。
Clerk 官方公布新的定价结构,所有应用免费获得 10,000 MAU(月度活跃用户),新用户注册后 24 小时内不计费。新方案分为 Free、Pro 和 Enterprise 三档,Pro 起步 $25/mo,超出部分每个 MAU 收 $0.02,相比原 Hobby 套餐包含的 MAU 多出 10 倍,并新增自定义会话时长、去除 Clerk 品牌标识等功能。
推荐理由:Clerk 官方公布新定价结构,免费额度翻倍到 10,000 MAU,Pro 起步 $25/mo,可对照自身用量估算成本。
Replit 发布 Replit Core 会员,把原有 Hacker 和 Pro 订阅合并为单一计划,现有订阅者按原价自动迁移。
推荐理由:Replit 把原有 Hacker 与 Pro 订阅合并为单一会员 Replit Core,并公布限时年费与迁移安排,可对照其权益变化。
Replicate 发布教程,演示如何用 BAAI/bge-large-en-v1.5 模型生成文本嵌入,并给出从文本列表、JSONL 文件到 SAMSum 数据集的完整代码流程。
推荐理由:Replicate 官方给出用 BGE 模型生成文本嵌入的完整流程,并实测其成本低于 OpenAI Ada v2。
Hugging Face 发布 Latent Consistency LoRA,通过只训练少量 LoRA 适配层而非蒸馏整个模型,把 Stable Diffusion 和 SDXL 的推理步数从 25 到 50 步降到 4 到 8 步。
推荐理由:Hugging Face 发布 LCM LoRA,把 SDXL 推理从 25 步压到 4 步,并给出各硬件实测耗时。
OpenAI 在 DevDay 上发布 GPT-4 Turbo,支持 128K 上下文且价格更低,同时推出 Assistants API、带视觉能力的 GPT-4 Turbo 以及 DALL·E 3 API 等开发者产品。材料仅提供摘要,未给出具体价格数字与各产品的详细能力说明。
推荐理由:OpenAI 在 DevDay 一次性公布新模型与开发者产品,可据此了解模型能力与 API 价格的变化方向。
OpenAI 宣布用户现在可以创建自定义版本的 ChatGPT,把指令、额外知识和任意技能组合在一起。该功能由 OpenAI 官方发布,具体使用方式和开放范围原文未作进一步说明。
推荐理由:OpenAI 官方宣布可创建自定义版 ChatGPT,读者可了解 GPTs 的组成要素与开放范围。
Hugging Face 团队用自家 GitHub 组织的公开仓库代码微调 StarCoder,做出名为 HugCoder 的个人代码助手,并公开了完整流程。数据采集上他们克隆全部公开仓库本地提取内容,只保留代码文件并排除 .git、__pycache__ 等路径,最终数据集发布在 Hub 上。
推荐理由:完整给出从数据采集到 QLoRA 微调、VS Code 接入和本地部署的流程与成本对比,可照着复现。
Gradio 发布 @gradio/lite,一个借助 Pyodide 在浏览器内直接运行 Gradio 应用的 JavaScript 库,无需服务端基础设施。
推荐理由:Gradio 官方发布浏览器端运行方案,附完整示例代码与加载耗时等限制说明,便于开发者评估是否去掉服务端。