Meta 发布 Llama 2,Hugging Face 全面接入
Meta 发布开源大模型 Llama 2,包含 7B、13B、70B 三个规模,采用宽松社区许可并允许商用,Hugging Face 同步完成全面集成。
推荐理由:Hugging Face 官方说明 Llama 2 的接入方式,涵盖推理、部署与单卡微调路径,便于开发者直接上手。
各家模型与推理服务的定价、免费额度与限流:一次调用多少钱,直接决定 AI 功能能不能赚钱。
Meta 发布开源大模型 Llama 2,包含 7B、13B、70B 三个规模,采用宽松社区许可并允许商用,Hugging Face 同步完成全面集成。
推荐理由:Hugging Face 官方说明 Llama 2 的接入方式,涵盖推理、部署与单卡微调路径,便于开发者直接上手。
Vercel 发布开源 AI SDK,帮助开发者用 JavaScript 和 TypeScript 构建对话、流式与聊天界面,支持 React/Next.js、Svelte/SvelteKit,Nuxt/Vue 支持即将推出。
推荐理由:Vercel 官方发布 AI SDK,说明其支持的框架、模型适配与流式 UI 能力,便于开发者判断是否接入。
Hugging Face 介绍了 Apple Core ML 的新压缩与优化能力,通过 6-bit palettization 把 Stable Diffusion 权重从 16-bit 浮点压到每参数 6 bit,在 iPhone 13 上的推理速度比去年 12 月更快、内存占用更低。
推荐理由:Hugging Face 与 Apple 给出 6-bit 调色板量化在 iPhone 上跑 Stable Diffusion 的实测与转换命令,可据此评估端侧部署成本。
OpenAI 宣布对 API 进行多项更新,包括更易控制的模型、函数调用能力、更长的上下文以及更低的价格。官方未在摘要中给出具体模型名称、上下文长度或降价幅度。
推荐理由:OpenAI 官方公布 API 更新,涉及函数调用、更长上下文与降价,可据此判断接口能力与成本变化。
Resend 把免费套餐的发送额度从每月 100 封提高到每月 3000 封(每天 100 封),现有免费套餐账号已自动升级,官方称提升幅度为 30 倍。同时免费套餐的其他限制也有调整:每个团队最多可绑定一个域名,Pro 套餐解锁无限域名;选择发送区域改为仅 Pro 套餐可用,受影响的用户可联系官方沟通。
推荐理由:Resend 官方公布免费额度从每月 100 封提到 3000 封,并说明域名与多区域发送的套餐归属变化。
Railway 宣布调整套餐与定价,新套餐于 2023 年 7 月 3 日上线,迁移在 8 月 1 日完成。原 Starter 改为 Trial,新注册用户获得一次性 $5 额度,不再有每月循环 $5 额度;原 Developer 改为 Hobby,月费 $5 并含 $5 用量,符合条件的活跃开发者可免订阅费;原 Team 更名为 Pro,价格仍为 $20 / 用户 / 月。
推荐理由:Railway 官方公布套餐与计费调整,含各档迁移路径和网络出口费,现有用户可据此判断自己会被划到哪一档。
Railway 宣布默认套餐改为 $5/月,包含一定基础用量,超出部分按 vCPU、RAM 和网络出口流量按分钟计费,网络出口流量收费 $0.10/GB。免费试用仅限一次性 $5 额度,不再提供无限免费计算资源。新定价于 2023 年 7 月 3 日生效,现有用户 8 月 1 日迁移,官方称此举是为遏制滥用并改善支持与社区质量。
推荐理由:Railway 官方说明取消无限免费额度、改为 $5/月套餐的原因与迁移时间表,涉及现有用户的成本变化。
Supabase 向 OpenAI 仓库贡献了 Postgres 和 Supabase 两种向量存储实现,让 ChatGPT 检索插件可以直接用 pgvector 存取私有数据。
推荐理由:Supabase 为 ChatGPT 检索插件贡献了 Postgres 与 Supabase 两种向量存储实现,并给出从建库到接入的完整步骤。
Hugging Face 与 bitsandbytes 合作,在 transformers 中支持以 4bit 精度加载模型,覆盖文本、视觉和多模态等大多数 HF 模型,并可在 4bit 模型上训练适配器。
推荐理由:Hugging Face 与 bitsandbytes 合作把 4bit 量化接入 transformers,并给出 QLoRA 微调与显存实测数据。
Hugging Face 发布教程,介绍如何把 16B 参数的 StarCoder 微调成对话式编程助手 StarChat,并公开代码、数据集与模型。流程包括用 ChatML 特殊 token 组织对话、屏蔽用户轮次的标签,再用 DeepSpeed ZeRO-3 在 8 张 A100 80GB 上训练约 45 分钟。
推荐理由:Hugging Face 公开了把 StarCoder 微调成对话式编程助手的完整流程,含数据格式与训练配置。
BigCode 发布代码大模型 StarCoder 与 StarCoderBase,基于 GitHub 上 80 多种编程语言的宽松许可数据训练,约 15B 参数、1 万亿 token,上下文长度超过 8,000 token。
推荐理由:BigCode 公开 StarCoder 的模型权重、训练数据与评测结果,可对照其与 Codex 等模型的基准差距。
Replicate 现在支持部署、运行和微调大型语言模型,官方提供 FLAN-T5、GPT-J 和 LLaMA 版本,也可以推送任意自定义模型。模型可用 Python、Node.js 或 HTTP API 调用,无需自建服务器或 GPU;微调功能处于预览阶段,先开放少量名额,支持 Flan-T5、GPT-J 和 LLaMA。
推荐理由:Replicate 上线语言模型托管与微调预览,开发者可据此判断是否把模型部署从自建 GPU 迁到 API。
OpenAI 宣布在 ChatGPT 中实现对插件的初步支持。插件是专为语言模型设计的工具,以安全为核心原则,可帮助 ChatGPT 获取最新信息、执行计算或使用第三方服务。
推荐理由:OpenAI 官方宣布 ChatGPT 支持插件,插件可让模型获取实时信息、执行计算或调用第三方服务。
Replicate 发布教程,介绍如何用 LoRA 和 Alpaca 训练数据微调 LLaMA,并给出从克隆 Alpaca-LoRA 仓库、安装 Cog、转换权重到微调和运行模型的完整步骤。
推荐理由:Replicate 官方给出用 Alpaca-LoRA 微调 LLaMA 的完整步骤,含硬件要求与耗时,可照着复现。
Replit 宣布自 4 月 7 日起对 Repl 向用户和外部服务传输的出站数据实施限额,入站数据传输免费。免费层每月 10 GiB,Hacker 层 50 GiB,Pro 层 100 GiB,超出部分可按 $0.10/GiB 购买,额度每月 UTC 零点重置。用尽后 Repl 的网络传输能力会被限速直至停用,Replit 称此举是为应对代理、文件流、挖矿等滥用行为并控制成本。
推荐理由:Replit 公布各套餐出站流量额度与超额单价,并说明限流规则,开发者可据此评估自己 Repl 的成本。
OpenAI 发布 GPT-4,称其为扩展深度学习的最新里程碑。GPT-4 是一个大型多模态模型,接受图像和文本输入、输出文本,在许多真实场景中能力不及人类,但在多项专业和学术基准上表现出人类水平。
推荐理由:OpenAI 公布 GPT-4 为多模态大模型,可接受图像与文本输入并输出文本,在多项专业与学术基准上达到人类水平。
OpenAI 发布 GPT-4,可用于创意与技术写作任务,能生成、编辑内容并与用户迭代,例如作曲、写剧本或学习用户的写作风格。材料仅提供摘要,未给出模型规格、价格或 API 细节。
推荐理由:OpenAI 发布 GPT-4,材料仅给出其在创意与技术写作上的生成、编辑和迭代能力。
Replicate 宣布支持在云端用一次 API 调用训练 LoRA 模型,用于微调 Stable Diffusion。LoRA 由微软研究人员提出,Simo Ryu 将其应用到 Stable Diffusion;相比 DreamBooth 约二十分钟的训练和数 GB 的产物,LoRA 训练最快约八分钟,产物约 5MB,且推理无需冷启动。
推荐理由:Replicate 上线 LoRA 训练与推理接口,并对比 DreamBooth 的训练时长和产物体积,便于开发者判断迁移成本。
Supabase 上线 PostgreSQL 扩展 pgvector,用于在数据库内存储和查询向量 embeddings,并给出完整实现流程。
推荐理由:Supabase 官方给出用 pgvector 在 Postgres 中存储和检索 OpenAI embeddings 的完整流程,含建表、索引与 Edge Function 示例。
OpenAI 宣布为对话式 AI 产品 ChatGPT 推出试点订阅方案 ChatGPT Plus。官方称 ChatGPT 可以与你对话、回答追问并纠正错误假设,材料未披露具体价格与功能差异。
推荐理由:OpenAI 官方公布 ChatGPT 付费订阅试点,可了解该对话产品的订阅形态与官方定位。