Replicate 将公开模型按秒价格减半,并公布各档 GPU 新价
Replicate 宣布把公开模型的按秒价格减半,本月内对所有公开模型生效,从 SDXL 到 Llama 2 都包含在内,用户无需做任何操作。
推荐理由:Replicate 把公开模型按秒计费价格砍半并给出各档 GPU 新价,可据此估算自己的推理成本。
写代码这件事正在被工具改写:编辑器与 Agent、订阅分层与额度、把「做产品」的边际成本压到多低。
Replicate 宣布把公开模型的按秒价格减半,本月内对所有公开模型生效,从 SDXL 到 Llama 2 都包含在内,用户无需做任何操作。
推荐理由:Replicate 把公开模型按秒计费价格砍半并给出各档 GPU 新价,可据此估算自己的推理成本。
Supabase 发布 Studio 3.0,在 SQL Editor 中内置 Supabase AI,可对话式生成和修改 SQL,并以类似 Git diff 的视图接受或拒绝改动。
推荐理由:Supabase Studio 3.0 把 AI 写 SQL、Schema 可视化和 Wrappers 扩展一并放出,可了解 Postgres 工具链的集成方向。
Replicate 宣布为 SDXL 1.0 提供微调支持,用户可用自己的图片训练出生成特定人物、物体或风格的新模型。训练只需 5-6 张图片,耗时约 10-15 分钟,默认使用 LoRA,也可切换 Dreambooth 或 Textual Inversion,训练完成后可发布为公开或私有模型并下载 LoRA 权重。
推荐理由:Replicate 为 SDXL 1.0 上线微调支持,给出用几行代码训练自有风格模型的完整流程。
Hugging Face 发布 swift-transformers,一个用 Swift 实现 transformers 风格 API 的开发中 Swift 包,聚焦文本生成,并同时放出 swift-chat 示例应用、更新版 exporters 与 transformers-to-coreml 转换工具,以及 Llama 2 7B、Falcon 7B 等已转换模型。
推荐理由:Hugging Face 发布 Swift 端 transformers 风格库与转换工具,Swift 开发者可据此在 Apple 设备上跑本地 LLM。
Supabase 宣布在向量工具中新增对 Hugging Face 的一等支持,先从嵌入模型开始,覆盖 Python 客户端 vecs 和 Edge Functions(Deno/JavaScript)。
推荐理由:Supabase 在向量工具中接入 Hugging Face 嵌入模型,并给出 Python 与 Edge Functions 两种调用方式。
Supabase 用 pgvector 对比了 OpenAI text-embedding-ada-002(1536 维)与 all-MiniLM-L6-v2(384 维)的查询性能,在 accuracy@10 固定为 0.99 时后者每秒查询数高出 78%,内存占用从 7.5GB 降到 4GB。
推荐理由:Supabase 用自家 pgvector 实测对比不同维度嵌入模型,给出查询速度与内存占用的具体差距,可据此选型。
Replicate 发布教程,介绍如何用一行代码在云端运行 Meta AI 的 Llama 2,支持官方 JavaScript、Python 客户端以及 cURL 直接调用 HTTP API。
推荐理由:Replicate 官方给出用一行代码在云端调用 Llama 2 的方式,并对比四个模型变体的取舍。
Replicate 官方发布指南,介绍如何通过 API 运行 Stability AI 的文本生成图像模型 SDXL 1.0,支持文生图、img2img、inpainting 和 refiner。
推荐理由:Replicate 官方说明如何用 API 调用 SDXL,并给出 refiner、img2img 与 inpainting 的用法和参数。
Replicate 发布教程,演示如何在平台上微调 Llama 2 7B 做文本摘要,训练数据用 JSONL 格式的 SAMSum 数据集。
推荐理由:Replicate 官方给出在平台上微调 Llama 2 的完整流程,从建模型到跑 API 一步不落。
Meta AI 发布开源语言模型 Llama 2,训练数据达 2 万亿 token,支持 4096 token 上下文,许可证比 v1 更宽松并允许商用。
推荐理由:汇总 Llama 2 发布后一天内出现的部署与试用入口,方便开发者快速了解可用的模型版本和工具。
Meta 发布开源大模型 Llama 2,包含 7B、13B、70B 三个规模,采用宽松社区许可并允许商用,Hugging Face 同步完成全面集成。
推荐理由:Hugging Face 官方说明 Llama 2 的接入方式,涵盖推理、部署与单卡微调路径,便于开发者直接上手。
Vercel 发布开源 AI SDK,帮助开发者用 JavaScript 和 TypeScript 构建对话、流式与聊天界面,支持 React/Next.js、Svelte/SvelteKit,Nuxt/Vue 支持即将推出。
推荐理由:Vercel 官方发布 AI SDK,说明其支持的框架、模型适配与流式 UI 能力,便于开发者判断是否接入。
Hugging Face 介绍了 Apple Core ML 的新压缩与优化能力,通过 6-bit palettization 把 Stable Diffusion 权重从 16-bit 浮点压到每参数 6 bit,在 iPhone 13 上的推理速度比去年 12 月更快、内存占用更低。
推荐理由:Hugging Face 与 Apple 给出 6-bit 调色板量化在 iPhone 上跑 Stable Diffusion 的实测与转换命令,可据此评估端侧部署成本。
OpenAI 宣布对 API 进行多项更新,包括更易控制的模型、函数调用能力、更长的上下文以及更低的价格。官方未在摘要中给出具体模型名称、上下文长度或降价幅度。
推荐理由:OpenAI 官方公布 API 更新,涉及函数调用、更长上下文与降价,可据此判断接口能力与成本变化。
Supabase 向 OpenAI 仓库贡献了 Postgres 和 Supabase 两种向量存储实现,让 ChatGPT 检索插件可以直接用 pgvector 存取私有数据。
推荐理由:Supabase 为 ChatGPT 检索插件贡献了 Postgres 与 Supabase 两种向量存储实现,并给出从建库到接入的完整步骤。
Hugging Face 与 bitsandbytes 合作,在 transformers 中支持以 4bit 精度加载模型,覆盖文本、视觉和多模态等大多数 HF 模型,并可在 4bit 模型上训练适配器。
推荐理由:Hugging Face 与 bitsandbytes 合作把 4bit 量化接入 transformers,并给出 QLoRA 微调与显存实测数据。
Hugging Face 发布教程,介绍如何把 16B 参数的 StarCoder 微调成对话式编程助手 StarChat,并公开代码、数据集与模型。流程包括用 ChatML 特殊 token 组织对话、屏蔽用户轮次的标签,再用 DeepSpeed ZeRO-3 在 8 张 A100 80GB 上训练约 45 分钟。
推荐理由:Hugging Face 公开了把 StarCoder 微调成对话式编程助手的完整流程,含数据格式与训练配置。
BigCode 发布代码大模型 StarCoder 与 StarCoderBase,基于 GitHub 上 80 多种编程语言的宽松许可数据训练,约 15B 参数、1 万亿 token,上下文长度超过 8,000 token。
推荐理由:BigCode 公开 StarCoder 的模型权重、训练数据与评测结果,可对照其与 Codex 等模型的基准差距。
Replicate 现在支持部署、运行和微调大型语言模型,官方提供 FLAN-T5、GPT-J 和 LLaMA 版本,也可以推送任意自定义模型。模型可用 Python、Node.js 或 HTTP API 调用,无需自建服务器或 GPU;微调功能处于预览阶段,先开放少量名额,支持 Flan-T5、GPT-J 和 LLaMA。
推荐理由:Replicate 上线语言模型托管与微调预览,开发者可据此判断是否把模型部署从自建 GPU 迁到 API。
OpenAI 宣布在 ChatGPT 中实现对插件的初步支持。插件是专为语言模型设计的工具,以安全为核心原则,可帮助 ChatGPT 获取最新信息、执行计算或使用第三方服务。
推荐理由:OpenAI 官方宣布 ChatGPT 支持插件,插件可让模型获取实时信息、执行计算或调用第三方服务。