Unsloth 与 TRL 集成:LLM 微调提速 2 倍、显存最多降 74%
Hugging Face 博客介绍社区轻量库 Unsloth,与 transformers、PEFT、TRL 完全兼容,通过将 PyTorch 模块改写为 Triton kernel 实现微调加速,官方称相比标准 QLoRA 精度损失为 0%。
推荐理由:原文给出 Unsloth 与 TRL 的集成方式和 59 次基准测试数据,可据此判断是否替换现有微调流程。
写代码这件事正在被工具改写:编辑器与 Agent、订阅分层与额度、把「做产品」的边际成本压到多低。
Hugging Face 博客介绍社区轻量库 Unsloth,与 transformers、PEFT、TRL 完全兼容,通过将 PyTorch 模块改写为 Triton kernel 实现微调加速,官方称相比标准 QLoRA 精度损失为 0%。
推荐理由:原文给出 Unsloth 与 TRL 的集成方式和 59 次基准测试数据,可据此判断是否替换现有微调流程。
Mistral AI 发布稀疏专家混合模型 Mixtral 8x7B,采用 Apache 2.0 许可开放权重,在多数基准上超过或持平 Llama 2 70B 与 GPT3.5,推理速度比 Llama 2 70B 快 6 倍。
推荐理由:Mistral 发布 Apache 2.0 许可的开放权重模型,给出与 Llama 2 70B、GPT3.5 的基准对比和部署方式。
Mistral AI 开放首个平台服务 La Plateforme 的测试版,提供三个对话端点和嵌入端点,各端点性能与价格不同。
推荐理由:Mistral AI 开放平台测试版,给出三个对话端点和嵌入端点的模型、语言支持与 MT-Bench 分数,便于开发者对比选型。
Hugging Face 发布推理库 Optimum-NVIDIA,只需把 transformers 的 pipeline 导入改成 optimum.nvidia 一行代码,即可在 NVIDIA 平台获得最高 28 倍吞吐提升和 1,200 tokens/秒,首 token 延迟最高快 3.3 倍。
推荐理由:Hugging Face 官方发布 Optimum-NVIDIA,给出改一行代码即可提速的实测数据与代码示例。
Replit 发布 Replit Core 会员,把原有 Hacker 和 Pro 订阅合并为单一计划,现有订阅者按原价自动迁移。
推荐理由:Replit 把原有 Hacker 与 Pro 订阅合并为单一会员 Replit Core,并公布限时年费与迁移安排,可对照其权益变化。
Replicate 发布教程,演示如何用 BAAI/bge-large-en-v1.5 模型生成文本嵌入,并给出从文本列表、JSONL 文件到 SAMSum 数据集的完整代码流程。
推荐理由:Replicate 官方给出用 BGE 模型生成文本嵌入的完整流程,并实测其成本低于 OpenAI Ada v2。
Hugging Face 发布 Latent Consistency LoRA,通过只训练少量 LoRA 适配层而非蒸馏整个模型,把 Stable Diffusion 和 SDXL 的推理步数从 25 到 50 步降到 4 到 8 步。
推荐理由:Hugging Face 发布 LCM LoRA,把 SDXL 推理从 25 步压到 4 步,并给出各硬件实测耗时。
OpenAI 在 DevDay 上发布 GPT-4 Turbo,支持 128K 上下文且价格更低,同时推出 Assistants API、带视觉能力的 GPT-4 Turbo 以及 DALL·E 3 API 等开发者产品。材料仅提供摘要,未给出具体价格数字与各产品的详细能力说明。
推荐理由:OpenAI 在 DevDay 一次性公布新模型与开发者产品,可据此了解模型能力与 API 价格的变化方向。
OpenAI 宣布用户现在可以创建自定义版本的 ChatGPT,把指令、额外知识和任意技能组合在一起。该功能由 OpenAI 官方发布,具体使用方式和开放范围原文未作进一步说明。
推荐理由:OpenAI 官方宣布可创建自定义版 ChatGPT,读者可了解 GPTs 的组成要素与开放范围。
Hugging Face 团队用自家 GitHub 组织的公开仓库代码微调 StarCoder,做出名为 HugCoder 的个人代码助手,并公开了完整流程。数据采集上他们克隆全部公开仓库本地提取内容,只保留代码文件并排除 .git、__pycache__ 等路径,最终数据集发布在 Hub 上。
推荐理由:完整给出从数据采集到 QLoRA 微调、VS Code 接入和本地部署的流程与成本对比,可照着复现。
Gradio 发布 @gradio/lite,一个借助 Pyodide 在浏览器内直接运行 Gradio 应用的 JavaScript 库,无需服务端基础设施。
推荐理由:Gradio 官方发布浏览器端运行方案,附完整示例代码与加载耗时等限制说明,便于开发者评估是否去掉服务端。
Vercel 将 v0 从 Alpha 转入 Beta,新增 5,000 名用户访问权限,并推出订阅套餐。v0 让开发者用自然语言描述界面,由 React、Tailwind CSS 和 Shadcn UI 生成代码,等待名单在三周内积累了 100,000 人。
推荐理由:Vercel 官方公布 v0 从 Alpha 转入 Beta 并给出四档订阅价格,可据此判断生成式 UI 工具的成本与可用性。
Supabase 用 dbpedia 的 100 万条 OpenAI embeddings(1536 维)对比 pgvector 与 Pinecone 的查询性能和成本。
推荐理由:Supabase 用同一数据集对比 pgvector 与 Pinecone 的 QPS、精度和月成本,可据此估算向量检索方案的开销。
Mistral AI 发布首个 7B 参数模型 Mistral 7B,采用 Apache 2.0 许可,官方称其在所有标准英文与代码基准上超过现有 13B 参数以内的开源模型。该模型可用于摘要、结构化与问答等任务,处理与生成文本速度更快、成本更低。Mistral AI 同时开放 GitHub 仓库和 Discord 频道,并表示后续将发布更大模型及面向企业的本地部署方案。
推荐理由:Mistral AI 官方发布首个 7B 开源模型并说明开放权重路线,可了解其与闭源模型的定位差异。
OpenAI 宣布 ChatGPT 现在可以看、听和说话。
Bun 1.0 正式发布并进入稳定、可用于生产的状态,它是一个集运行、构建、测试和调试于一体的一体化 JavaScript 与 TypeScript 工具链。Bun 可作为 Node.js 的直接替代品,内置包管理器、Jest 兼容的测试运行器和打包器,官方称启动速度最高比 Node.js 快 4 倍,bun run 平均耗时 7ms。
推荐理由:Bun 1.0 把运行时、包管理、测试与打包整合进单一工具,并给出与 Node.js 各环节的性能对比。
Steve Moraco 借助 Replit 搭建了 iOS 上的 AI 助手 DATA,用 ChatGPT 替代 Siri,几个月内做到 $18k MRR、800 名付费订阅者和 $216,000 ARR。
推荐理由:一位零 Web 开发经验的开发者用 Replit 做出 iOS AI 助手,几个月做到 $18k MRR,可看其搭建与增长路径。
Supabase 宣布新建数据库将默认搭载 pgvector v0.5.0,该版本新增 HNSW 索引,用于高维 embedding 的近似最近邻搜索。在 224,482 条 OpenAI 向量(1536 维)测试中,HNSW 性能约为 IVFFlat 的 3 倍且准确率更高;在 100 万条向量测试中,达到 accuracy@10 0.99 时性能超过 6 倍。
推荐理由:Supabase 新库默认搭载 pgvector v0.5.0,文中给出 HNSW 与 IVFFlat 的 QPS 对比和建索引参数,可据此判断是否迁移。
Hugging Face 宣布在自家生态集成 Code Llama,提供 7B、13B、34B 三个参数规模的模型,采用与 Llama 2 相同的社区许可并允许商用。
推荐理由:Hugging Face 官方给出 Code Llama 在自家生态的接入方式、显存建议与基准分数,便于开发者直接选型部署。
OpenAI 宣布开发者现在可以自带数据对 GPT-3.5 Turbo 进行微调,以适配自己的使用场景。该更新属于 GPT-3.5 Turbo 微调与 API 更新的一部分。
推荐理由:OpenAI 开放 GPT-3.5 Turbo 微调,开发者可用自有数据定制模型,值得关注 API 能力变化。