Replicate 为 SDXL 1.0 推出微调支持
Replicate 宣布为 SDXL 1.0 提供微调支持,用户可用自己的图片训练出生成特定人物、物体或风格的新模型。训练只需 5-6 张图片,耗时约 10-15 分钟,默认使用 LoRA,也可切换 Dreambooth 或 Textual Inversion,训练完成后可发布为公开或私有模型并下载 LoRA 权重。
推荐理由:Replicate 为 SDXL 1.0 上线微调支持,给出用几行代码训练自有风格模型的完整流程。
Replicate 宣布为 SDXL 1.0 提供微调支持,用户可用自己的图片训练出生成特定人物、物体或风格的新模型。训练只需 5-6 张图片,耗时约 10-15 分钟,默认使用 LoRA,也可切换 Dreambooth 或 Textual Inversion,训练完成后可发布为公开或私有模型并下载 LoRA 权重。
推荐理由:Replicate 为 SDXL 1.0 上线微调支持,给出用几行代码训练自有风格模型的完整流程。
Hugging Face 发布 swift-transformers,一个用 Swift 实现 transformers 风格 API 的开发中 Swift 包,聚焦文本生成,并同时放出 swift-chat 示例应用、更新版 exporters 与 transformers-to-coreml 转换工具,以及 Llama 2 7B、Falcon 7B 等已转换模型。
推荐理由:Hugging Face 发布 Swift 端 transformers 风格库与转换工具,Swift 开发者可据此在 Apple 设备上跑本地 LLM。
Supabase 宣布在向量工具中新增对 Hugging Face 的一等支持,先从嵌入模型开始,覆盖 Python 客户端 vecs 和 Edge Functions(Deno/JavaScript)。
推荐理由:Supabase 在向量工具中接入 Hugging Face 嵌入模型,并给出 Python 与 Edge Functions 两种调用方式。
Hugging Face 发布教程,介绍如何通过 Inference Endpoints 的自定义 handler 部署 MusicGen 音乐生成模型。
Replicate 发布教程,介绍如何用一行代码在云端运行 Meta AI 的 Llama 2,支持官方 JavaScript、Python 客户端以及 cURL 直接调用 HTTP API。
推荐理由:Replicate 官方给出用一行代码在云端调用 Llama 2 的方式,并对比四个模型变体的取舍。
Replicate 官方发布指南,介绍如何通过 API 运行 Stability AI 的文本生成图像模型 SDXL 1.0,支持文生图、img2img、inpainting 和 refiner。
推荐理由:Replicate 官方说明如何用 API 调用 SDXL,并给出 refiner、img2img 与 inpainting 的用法和参数。
Hugging Face 的 Diffusers 库迎来一周年,已从文生图扩展出视频、3D 与图像编辑等多条 pipeline。新增 DeepFloyd IF、Stability AI SDXL 支持,并引入 OpenAI 的 Shap-E 文生 3D 与 Consistency Models,后者在 CPU 上生成 256x256 图像仅需 3/4 秒。
Replicate 发布教程,演示如何在平台上微调 Llama 2 7B 做文本摘要,训练数据用 JSONL 格式的 SAMSum 数据集。
推荐理由:Replicate 官方给出在平台上微调 Llama 2 的完整流程,从建模型到跑 API 一步不落。
Meta AI 发布开源语言模型 Llama 2,训练数据达 2 万亿 token,支持 4096 token 上下文,许可证比 v1 更宽松并允许商用。
推荐理由:汇总 Llama 2 发布后一天内出现的部署与试用入口,方便开发者快速了解可用的模型版本和工具。
Meta 发布开源大模型 Llama 2,包含 7B、13B、70B 三个规模,采用宽松社区许可并允许商用,Hugging Face 同步完成全面集成。
推荐理由:Hugging Face 官方说明 Llama 2 的接入方式,涵盖推理、部署与单卡微调路径,便于开发者直接上手。
Replit 发布 AI 开发状态报告:截至 2023 年 Q2,平台上 AI 相关项目接近 30 万个,其中约 16 万个创建于 Q2,环比增长约 80%,同比增长 34 倍。
Viable 借助 GPT-4 以空前规模和精度分析定性数据。该方案面向大规模定性数据分析场景,强调准确性与处理规模上的突破。
Hugging Face 发布教程,用 Node.js 加 WizardCoder-15B 模型搭建一个能流式生成 HTML 的 Web 应用生成器。模型通过 Inference Endpoints API 调用,也可用免费的 Inference API 跑中小模型,客户端用 @huggingface/inference 库接入。
StackOverflow 2023 调查显示近半数专业开发者使用 Postgres,其向量相似度搜索扩展 pgvector 因此成为 AI 应用原型开发中最流行的选择之一。文章讲解如何正确优化 pgvector 的向量搜索性能。
Hugging Face 介绍了 Apple Core ML 的新压缩与优化能力,通过 6-bit palettization 把 Stable Diffusion 权重从 16-bit 浮点压到每参数 6 bit,在 iPhone 13 上的推理速度比去年 12 月更快、内存占用更低。
推荐理由:Hugging Face 与 Apple 给出 6-bit 调色板量化在 iPhone 上跑 Stable Diffusion 的实测与转换命令,可据此评估端侧部署成本。
OpenAI 宣布对 API 进行多项更新,包括更易控制的模型、函数调用能力、更长的上下文以及更低的价格。官方未在摘要中给出具体模型名称、上下文长度或降价幅度。
推荐理由:OpenAI 官方公布 API 更新,涉及函数调用、更长上下文与降价,可据此判断接口能力与成本变化。
Supabase 向 OpenAI 仓库贡献了 Postgres 和 Supabase 两种向量存储实现,让 ChatGPT 检索插件可以直接用 pgvector 存取私有数据。
推荐理由:Supabase 为 ChatGPT 检索插件贡献了 Postgres 与 Supabase 两种向量存储实现,并给出从建库到接入的完整步骤。
Hugging Face 与 bitsandbytes 合作,在 transformers 中支持以 4bit 精度加载模型,覆盖文本、视觉和多模态等大多数 HF 模型,并可在 4bit 模型上训练适配器。
推荐理由:Hugging Face 与 bitsandbytes 合作把 4bit 量化接入 transformers,并给出 QLoRA 微调与显存实测数据。
Neon 发布基于浏览器的 AI SQL Playground,开发者可直接连接 Neon Postgres 数据库,由 AI 助手生成 SQL。该工具源于几个月前 Neon 内部的 AI hackathon,当时团队用 OpenAI 的 API 做实验,其中一个想法就是为 Postgres 做在线 AI SQL playground。
Supabase 发布了一个用 TypeScript 编写、运行在 Supabase Edge Runtime 上的 ChatGPT 插件模板,可在 GitHub 上 fork。
推荐理由:Supabase 官方给出在 Edge Runtime 上搭建 ChatGPT 插件模板的完整步骤,含清单文件、OpenAPI 生成与本地调试。
Replit 与 Google Cloud 达成合作,Replit 开发者将通过 Ghostwriter 获得 Google Cloud 基础设施、服务和基础模型,Google Cloud 与 Workspace 开发者则可用上 Replit 的协作代码编辑平台。
Replit 在 1 月 Hackweek 期间启动 Ghostwriter Chat 项目并拿下第一名,随后用一个月时间上线,目标是做首个编辑器原生的 LLM 聊天应用。
Replit 在 1 月 Hackweek 期间启动 Ghostwriter Chat 项目,用约 6-8 周完成从开发到上线,目标是在编辑器内原生提供 LLM 聊天。
OpenAI 宣布在 ChatGPT 中实现对插件的初步支持。插件是专为语言模型设计的工具,以安全为核心原则,可帮助 ChatGPT 获取最新信息、执行计算或使用第三方服务。
推荐理由:OpenAI 官方宣布 ChatGPT 支持插件,插件可让模型获取实时信息、执行计算或调用第三方服务。
Replicate 发布教程,介绍如何用 LoRA 和 Alpaca 训练数据微调 LLaMA,并给出从克隆 Alpaca-LoRA 仓库、安装 Cog、转换权重到微调和运行模型的完整步骤。
推荐理由:Replicate 官方给出用 Alpaca-LoRA 微调 LLaMA 的完整步骤,含硬件要求与耗时,可照着复现。
OpenAI 的 GPT-4 被用于 Duolingo,帮助其填补关键的语言学习空白。Duolingo 借助 GPT-4 深化对话式学习体验。
冰岛正在用 GPT-4 保护冰岛语。OpenAI 介绍了这一合作,目标是为这门使用人数有限的语言延续未来。
Be My Eyes 借助 GPT-4 改造视觉无障碍体验。该应用将 GPT-4 的视觉能力用于帮助视障用户理解图像信息。
OpenAI 发布 GPT-4,称其为扩展深度学习的最新里程碑。GPT-4 是一个大型多模态模型,接受图像和文本输入、输出文本,在许多真实场景中能力不及人类,但在多项专业和学术基准上表现出人类水平。
推荐理由:OpenAI 公布 GPT-4 为多模态大模型,可接受图像与文本输入并输出文本,在多项专业与学术基准上达到人类水平。
Khan Academy 在一项有限试点项目中探索 GPT-4 用于虚拟课堂教育的潜力。该试点由 OpenAI News 披露,具体功能、价格与开放范围均未公布。
Stripe 借助 GPT-4 优化用户体验并打击欺诈。OpenAI 在 2023 年 3 月 14 日的发布中披露了这一合作,但未公布具体费率、套餐或增长数据。
OpenAI 发布 GPT-4,可用于创意与技术写作任务,能生成、编辑内容并与用户迭代,例如作曲、写剧本或学习用户的写作风格。材料仅提供摘要,未给出模型规格、价格或 API 细节。
推荐理由:OpenAI 发布 GPT-4,材料仅给出其在创意与技术写作上的生成、编辑和迭代能力。
一篇教程演示如何用 Vercel、OpenAI API 和 Postgres 的 pgvector 扩展搭建类 ChatGPT 应用,通过 word embeddings 为业务定制聊天机器人。OpenAI API 提供词嵌入能力,pgvector 负责在 Postgres 中存储和检索向量。
我们正把部分 CPU 推理模型从 AWS ECS + Fargate 迁到 Hugging Face Inference Endpoints,部署流程从构建 API、打包 Docker、上传 ECR 再部署 ECS 简化为训练、上传 Hub、直接部署。
Replit 宣布 Ghostwriter Chat 开启 beta,定位为首个直接集成在 IDE 内的对话式 AI 编程助手,并带有主动调试器和对项目上下文的感知能力。它能在控制台报错时主动给出可粘贴的完整代码块,让开发者无需离开 IDE 去 Google、Stack Overflow 或 ChatGPT 找答案。订阅 Ghostwriter 可在限时内免费使用该 beta。
Supabase 发布文档问答功能 Supabase Clippy,在 supabase.com/docs 按 cmd + / 即可调出搜索框提问,目前是隐藏的 MVP 功能。
Replicate 宣布支持在云端用一次 API 调用训练 LoRA 模型,用于微调 Stable Diffusion。LoRA 由微软研究人员提出,Simo Ryu 将其应用到 Stable Diffusion;相比 DreamBooth 约二十分钟的训练和数 GB 的产物,LoRA 训练最快约八分钟,产物约 5MB,且推理无需冷启动。
推荐理由:Replicate 上线 LoRA 训练与推理接口,并对比 DreamBooth 的训练时长和产物体积,便于开发者判断迁移成本。
Supabase 上线 PostgreSQL 扩展 pgvector,用于在数据库内存储和查询向量 embeddings,并给出完整实现流程。
推荐理由:Supabase 官方给出用 pgvector 在 Postgres 中存储和检索 OpenAI embeddings 的完整流程,含建表、索引与 Edge Function 示例。
Vercel 发布历史教程,复盘如何用 Next.js 与流式响应构建 GPT-3 应用,示例产品为 twitterbio.com。前端用文本框、语气下拉框和提交按钮调用 /api/generate API Route,后端在 generate.ts 中向 OpenAI 的 GPT-3 发起 POST 请求并返回两条生成的简介。
Vercel 发布指南,介绍如何在 Vercel 上构建和部署 AI 驱动应用,提供 Twitter Bio Generator、Photo Restorer、DALL·E 2 Art Generator 等一步式模板。