OpenAI 推出 GPTs,可创建自定义版 ChatGPT
OpenAI 宣布用户现在可以创建自定义版本的 ChatGPT,把指令、额外知识和任意技能组合在一起。该功能由 OpenAI 官方发布,具体使用方式和开放范围原文未作进一步说明。
推荐理由:OpenAI 官方宣布可创建自定义版 ChatGPT,读者可了解 GPTs 的组成要素与开放范围。
OpenAI 宣布用户现在可以创建自定义版本的 ChatGPT,把指令、额外知识和任意技能组合在一起。该功能由 OpenAI 官方发布,具体使用方式和开放范围原文未作进一步说明。
推荐理由:OpenAI 官方宣布可创建自定义版 ChatGPT,读者可了解 GPTs 的组成要素与开放范围。
Hugging Face 发布教程,演示如何用 Text Embeddings Inference(TEI)把开源 Embedding 模型部署到 Inference Endpoints,并支持大规模批量请求。
独立开发者 @n-raidenai 在 Replit 上发布开源生成式 UI 组件框架 openv0,可通过描述界面自动生成 Tailwind 驱动的 UI 代码,支持 Next.js、React、Svelte 及 NextUI、Flowbite、Shadcn、Lucide。
Replicate 上线 MusicGen 微调功能,用 8x A40(Large)硬件完整训练一次约 15 分钟,9-10 首、每首超过 30 秒的曲目即可训练出某种风格的音乐模型。
Typeform 借助 GPT-3.5 和 GPT-4,将在线表单升级为动态、对话式的数据收集体验。
Retool 借助 GPT-4,让企业能以快速、安全的方式构建 AI 驱动的应用。
Replit 在 Hugging Face 发布新的代码生成语言模型 Replit Code V1.5 3B,可用于代码补全任务,并允许作为基础模型做应用级微调,对商业使用没有严格限制。
Supabase 用 dbpedia 的 100 万条 OpenAI embeddings(1536 维)对比 pgvector 与 Pinecone 的查询性能和成本。
推荐理由:Supabase 用同一数据集对比 pgvector 与 Pinecone 的 QPS、精度和月成本,可据此估算向量检索方案的开销。
Replicate 发布文章,演示如何用内置 grammars 支持的 Llama 2 模型把航班确认邮件抽取成符合 JSON Schema 的 JSON 文档。
Mistral AI 的新开源语言模型 Mistral 7B 已由 @a16z-infra 推上 Replicate,性能超过其他 70 亿参数模型,也优于 Llama 2 13B,部分场景接近原始 Llama 34B。
一位从未写过代码的 Replit 员工用 AI 做出了自己的第一个 Slack Bot,通过 Google LLM 提供每日频道摘要。该 Bot 模板可直接 fork,也可从 100 Days of Code 入手,全程无需任何环境配置。
Hugging Face 发布非工程师指南,教你用 Spaces、AutoTrain 和 ChatUI 三步训练并部署 LLaMA 2 聊天机器人,全程无需写一行代码。教程以 Meta 的 Llama 2 7b 为基础模型,用 Alpaca 指令数据集微调,训练可选 A10G Large GPU,AutoTrain Space 本身用免费 CPU 即可运行。
Superagent.sh 用 Replit 打造了一个开源 Agentic AI 框架,让开发者能在几分钟内把生产级 AI 助手集成进任意应用。在 Replit 代码执行库发布 48 小时内,团队就将其接入核心框架,用 Replit Autoscale 部署,并开放 Repl 供社区 fork、定制和自行部署。该框架可构建客服、法律、代码审查、内容生成等场景的 AI 助手。
Hugging Face 对 Llama 2 在 Amazon SageMaker 上的 60 种部署配置做了基准测试,覆盖 7B、13B、70B 三种模型规模、1/5/10/20 并发请求,以及 g5.2xlarge、g5.12xlarge、g5.48xlarge 和 p4d.24xlarge 四种实例。
Replit 发布无状态代码执行 API,可在沙箱中运行 AI Agent 生成的不可信代码,请求延迟低至 100ms,基于 omegajail 非特权容器,仅支持 Autoscale Deployments。
Replicate 将微调模型的冷启动时间从最长几分钟缩短到不到 1 秒,适用于 meta/llama-2-7b-chat、meta/llama-2-70b-chat、stability-ai/sdxl 等 Llama 2 与 SDXL 系列模型。该改进目前仅对 9 月 6 日起新建的微调模型生效,Replicate 表示还在为所有模型做进一步的冷启动优化。
Neon 发布教程,演示如何用 OpenAI、pg_embedding 和 Neon 搭建语义搜索。此前其推出的创业点子相似公司匹配应用在 Hacker News 和 Twitter 上获得 5,000+ 访客和 2,500+ 次提交。
Hugging Face 宣布在自家生态集成 Code Llama,提供 7B、13B、34B 三个参数规模的模型,采用与 Llama 2 相同的社区许可并允许商用。
推荐理由:Hugging Face 官方给出 Code Llama 在自家生态的接入方式、显存建议与基准分数,便于开发者直接选型部署。
OpenAI 宣布开发者现在可以自带数据对 GPT-3.5 Turbo 进行微调,以适配自己的使用场景。该更新属于 GPT-3.5 Turbo 微调与 API 更新的一部分。
推荐理由:OpenAI 开放 GPT-3.5 Turbo 微调,开发者可用自有数据定制模型,值得关注 API 能力变化。
Replicate 宣布把公开模型的按秒价格减半,本月内对所有公开模型生效,从 SDXL 到 Llama 2 都包含在内,用户无需做任何操作。
推荐理由:Replicate 把公开模型按秒计费价格砍半并给出各档 GPU 新价,可据此估算自己的推理成本。
Replicate 的 API 现已支持语言模型的 server-sent event 流式输出,让应用在模型运行时实时更新。创建 prediction 时开启 stream 选项即可获得 stream URL,浏览器端可用 EventSource 连接,也可用 cURL 和 jq 在终端接收更新。
Replicate 宣布为 SDXL 1.0 提供微调支持,用户可用自己的图片训练出生成特定人物、物体或风格的新模型。训练只需 5-6 张图片,耗时约 10-15 分钟,默认使用 LoRA,也可切换 Dreambooth 或 Textual Inversion,训练完成后可发布为公开或私有模型并下载 LoRA 权重。
推荐理由:Replicate 为 SDXL 1.0 上线微调支持,给出用几行代码训练自有风格模型的完整流程。
Hugging Face 发布 swift-transformers,一个用 Swift 实现 transformers 风格 API 的开发中 Swift 包,聚焦文本生成,并同时放出 swift-chat 示例应用、更新版 exporters 与 transformers-to-coreml 转换工具,以及 Llama 2 7B、Falcon 7B 等已转换模型。
推荐理由:Hugging Face 发布 Swift 端 transformers 风格库与转换工具,Swift 开发者可据此在 Apple 设备上跑本地 LLM。
Supabase 宣布在向量工具中新增对 Hugging Face 的一等支持,先从嵌入模型开始,覆盖 Python 客户端 vecs 和 Edge Functions(Deno/JavaScript)。
推荐理由:Supabase 在向量工具中接入 Hugging Face 嵌入模型,并给出 Python 与 Edge Functions 两种调用方式。
Hugging Face 发布教程,介绍如何通过 Inference Endpoints 的自定义 handler 部署 MusicGen 音乐生成模型。
Replicate 发布教程,介绍如何用一行代码在云端运行 Meta AI 的 Llama 2,支持官方 JavaScript、Python 客户端以及 cURL 直接调用 HTTP API。
推荐理由:Replicate 官方给出用一行代码在云端调用 Llama 2 的方式,并对比四个模型变体的取舍。
Replicate 官方发布指南,介绍如何通过 API 运行 Stability AI 的文本生成图像模型 SDXL 1.0,支持文生图、img2img、inpainting 和 refiner。
推荐理由:Replicate 官方说明如何用 API 调用 SDXL,并给出 refiner、img2img 与 inpainting 的用法和参数。
Hugging Face 的 Diffusers 库迎来一周年,已从文生图扩展出视频、3D 与图像编辑等多条 pipeline。新增 DeepFloyd IF、Stability AI SDXL 支持,并引入 OpenAI 的 Shap-E 文生 3D 与 Consistency Models,后者在 CPU 上生成 256x256 图像仅需 3/4 秒。
Replicate 发布教程,演示如何在平台上微调 Llama 2 7B 做文本摘要,训练数据用 JSONL 格式的 SAMSum 数据集。
推荐理由:Replicate 官方给出在平台上微调 Llama 2 的完整流程,从建模型到跑 API 一步不落。
Meta AI 发布开源语言模型 Llama 2,训练数据达 2 万亿 token,支持 4096 token 上下文,许可证比 v1 更宽松并允许商用。
推荐理由:汇总 Llama 2 发布后一天内出现的部署与试用入口,方便开发者快速了解可用的模型版本和工具。
Meta 发布开源大模型 Llama 2,包含 7B、13B、70B 三个规模,采用宽松社区许可并允许商用,Hugging Face 同步完成全面集成。
推荐理由:Hugging Face 官方说明 Llama 2 的接入方式,涵盖推理、部署与单卡微调路径,便于开发者直接上手。
Replit 发布 AI 开发状态报告:截至 2023 年 Q2,平台上 AI 相关项目接近 30 万个,其中约 16 万个创建于 Q2,环比增长约 80%,同比增长 34 倍。
Viable 借助 GPT-4 以空前规模和精度分析定性数据。该方案面向大规模定性数据分析场景,强调准确性与处理规模上的突破。
Hugging Face 发布教程,用 Node.js 加 WizardCoder-15B 模型搭建一个能流式生成 HTML 的 Web 应用生成器。模型通过 Inference Endpoints API 调用,也可用免费的 Inference API 跑中小模型,客户端用 @huggingface/inference 库接入。
StackOverflow 2023 调查显示近半数专业开发者使用 Postgres,其向量相似度搜索扩展 pgvector 因此成为 AI 应用原型开发中最流行的选择之一。文章讲解如何正确优化 pgvector 的向量搜索性能。
Hugging Face 介绍了 Apple Core ML 的新压缩与优化能力,通过 6-bit palettization 把 Stable Diffusion 权重从 16-bit 浮点压到每参数 6 bit,在 iPhone 13 上的推理速度比去年 12 月更快、内存占用更低。
推荐理由:Hugging Face 与 Apple 给出 6-bit 调色板量化在 iPhone 上跑 Stable Diffusion 的实测与转换命令,可据此评估端侧部署成本。
OpenAI 宣布对 API 进行多项更新,包括更易控制的模型、函数调用能力、更长的上下文以及更低的价格。官方未在摘要中给出具体模型名称、上下文长度或降价幅度。
推荐理由:OpenAI 官方公布 API 更新,涉及函数调用、更长上下文与降价,可据此判断接口能力与成本变化。
Supabase 向 OpenAI 仓库贡献了 Postgres 和 Supabase 两种向量存储实现,让 ChatGPT 检索插件可以直接用 pgvector 存取私有数据。
推荐理由:Supabase 为 ChatGPT 检索插件贡献了 Postgres 与 Supabase 两种向量存储实现,并给出从建库到接入的完整步骤。
Hugging Face 与 bitsandbytes 合作,在 transformers 中支持以 4bit 精度加载模型,覆盖文本、视觉和多模态等大多数 HF 模型,并可在 4bit 模型上训练适配器。
推荐理由:Hugging Face 与 bitsandbytes 合作把 4bit 量化接入 transformers,并给出 QLoRA 微调与显存实测数据。
Neon 发布基于浏览器的 AI SQL Playground,开发者可直接连接 Neon Postgres 数据库,由 AI 助手生成 SQL。该工具源于几个月前 Neon 内部的 AI hackathon,当时团队用 OpenAI 的 API 做实验,其中一个想法就是为 Postgres 做在线 AI SQL playground。