Replicate 教程:如何用 Alpaca-LoRA 微调类 ChatGPT 模型
Replicate 发布教程,介绍如何用 LoRA 和 Alpaca 训练数据微调 LLaMA,并给出从克隆 Alpaca-LoRA 仓库、安装 Cog、转换权重到微调和运行模型的完整步骤。
推荐理由:Replicate 官方给出用 Alpaca-LoRA 微调 LLaMA 的完整步骤,含硬件要求与耗时,可照着复现。
写代码这件事正在被工具改写:编辑器与 Agent、订阅分层与额度、把「做产品」的边际成本压到多低。
Replicate 发布教程,介绍如何用 LoRA 和 Alpaca 训练数据微调 LLaMA,并给出从克隆 Alpaca-LoRA 仓库、安装 Cog、转换权重到微调和运行模型的完整步骤。
推荐理由:Replicate 官方给出用 Alpaca-LoRA 微调 LLaMA 的完整步骤,含硬件要求与耗时,可照着复现。
OpenAI 发布 GPT-4,称其为扩展深度学习的最新里程碑。GPT-4 是一个大型多模态模型,接受图像和文本输入、输出文本,在许多真实场景中能力不及人类,但在多项专业和学术基准上表现出人类水平。
推荐理由:OpenAI 公布 GPT-4 为多模态大模型,可接受图像与文本输入并输出文本,在多项专业与学术基准上达到人类水平。
OpenAI 发布 GPT-4,可用于创意与技术写作任务,能生成、编辑内容并与用户迭代,例如作曲、写剧本或学习用户的写作风格。材料仅提供摘要,未给出模型规格、价格或 API 细节。
推荐理由:OpenAI 发布 GPT-4,材料仅给出其在创意与技术写作上的生成、编辑和迭代能力。
Replicate 宣布支持在云端用一次 API 调用训练 LoRA 模型,用于微调 Stable Diffusion。LoRA 由微软研究人员提出,Simo Ryu 将其应用到 Stable Diffusion;相比 DreamBooth 约二十分钟的训练和数 GB 的产物,LoRA 训练最快约八分钟,产物约 5MB,且推理无需冷启动。
推荐理由:Replicate 上线 LoRA 训练与推理接口,并对比 DreamBooth 的训练时长和产物体积,便于开发者判断迁移成本。
Supabase 上线 PostgreSQL 扩展 pgvector,用于在数据库内存储和查询向量 embeddings,并给出完整实现流程。
推荐理由:Supabase 官方给出用 pgvector 在 Postgres 中存储和检索 OpenAI embeddings 的完整流程,含建表、索引与 Edge Function 示例。
OpenAI 宣布为对话式 AI 产品 ChatGPT 推出试点订阅方案 ChatGPT Plus。官方称 ChatGPT 可以与你对话、回答追问并纠正错误假设,材料未披露具体价格与功能差异。
推荐理由:OpenAI 官方公布 ChatGPT 付费订阅试点,可了解该对话产品的订阅形态与官方定位。
OpenAI 发布了一个名为 ChatGPT 的模型,以对话方式与用户交互。官方称对话格式让 ChatGPT 能回答追问、承认自己的错误、质疑不正确的前提,并拒绝不当请求。
推荐理由:OpenAI 发布对话式模型 ChatGPT,读者可了解其对话交互方式与追问、纠错等能力。
Replicate 发布 DreamBooth API,可在云端训练 Stable Diffusion 模型并运行预测,最少三张训练图、约 20 分钟完成,训练一个模型约 2.50 美元。
推荐理由:Replicate 官方给出 DreamBooth 训练 API 的调用方式与成本,可了解当时云端微调的接入门槛。
OpenAI 宣布 DALL·E API 进入公开测试,开发者从即日起可以开始用它构建应用。
推荐理由:OpenAI 开放 DALL·E API 公测,开发者可据此把图像生成能力接入自己的应用。
Replit 正式向公众发布其 AI 编码助手 Ghostwriter,定价为每月 1,000 Cycles($10),并提供限量的先到先得试用名额。
推荐理由:Replit 官方公布 Ghostwriter 的定价与四项 AI 编码功能,可了解早期 AI 编程助手的形态与收费方式。
OpenAI 宣布训练并开源名为 Whisper 的神经网络,用于语音识别。官方称其在英文语音识别上的稳健性和准确度接近人类水平。
推荐理由:OpenAI 开源语音识别模型 Whisper,读者可了解其英文语音识别的稳健性与准确度定位。
OpenAI 宣布 DALL·E 进入测试版,将在未来几周从等待名单中邀请 100 万人。用户可用每月刷新的免费积分生成图片,也可按 115 次生成 $15 的价格购买额外积分。
推荐理由:OpenAI 公布 DALL·E 测试版开放方式与积分定价,可了解当时的准入节奏和收费结构。
OpenAI 发布新版本 GPT-3 和 Codex,可以在已有文本中编辑或插入内容,而不再只是续写现有文本。
推荐理由:OpenAI 发布 GPT-3 与 Codex 新版本,能力从续写扩展到对已有文本的编辑与插入。
OpenAI 宣布其 API 不再需要等待名单,开发者可以直接使用。官方表示,这一更广泛的开放得益于安全方面的进展。
推荐理由:OpenAI 宣布 API 取消等待名单,开发者可直接接入,反映其安全进展带来的开放节奏。
OpenAI 发布改进版 Codex,这是其将自然语言转换为代码的 AI 系统,从今天起通过 API 以私有测试(private beta)形式开放。原文未披露具体功能、价格或申请方式。
推荐理由:OpenAI 公布 Codex 改进版并以私有测试形式开放 API,读者可了解该自然语言转代码系统的接入方式变化。
OpenAI 发布了一个 API,用于访问 OpenAI 开发的新 AI 模型。
推荐理由:OpenAI 官方发布 API,让开发者可以调用其新开发的 AI 模型。
Repl.it 宣布其 IDE 可以从单文件 REPL 逐步扩展为全栈应用开发环境,在 repl 中开放端口即完成部署,服务器会托管在用户的 Repl.it 子域名上。使用第三方库时只需 require/import,平台会自动安装,并预置了 Django、Rails、Express 和 Sinatra 应用模板。官方还提到用户会把应用拆成多个 repl,例如一个跑网站、另一个做日志和管理界面。
推荐理由:Repl.it 官方说明 IDE 如何从单文件 REPL 逐步扩展到可部署的全栈应用,并给出预置框架与用户实例。