Llama 2 在 Amazon SageMaker 上的部署基准测试
Hugging Face 对 Llama 2 在 Amazon SageMaker 上的 60 种部署配置做了基准测试，覆盖 7B、13B、70B 三种模型规模、1/5/10/20 并发请求，以及 g5.2xlarge、g5.12xlarge、g5.48xlarge 和 p4d.24xlarge 四种实例。
主题：基础设施与部署
主题：基础设施与部署
今日 8 条Hugging Face BlogAI 评分4242
OpenAI News精选AI 评分6262 ChatGPT 新增看、听、说能力
OpenAI 宣布 ChatGPT 现在可以看、听和说话。
Replit BlogAI 评分5555 Replit 发布 AI Agent 代码执行 API，沙箱内运行不可信代码
Replit 发布无状态代码执行 API，可在沙箱中运行 AI Agent 生成的不可信代码，请求延迟低至 100ms，基于 omegajail 非特权容器，仅支持 Autoscale Deployments。
Replicate BlogAI 评分4242 Replicate 微调模型冷启动缩短至 1 秒内
Replicate 将微调模型的冷启动时间从最长几分钟缩短到不到 1 秒，适用于 meta/llama-2-7b-chat、meta/llama-2-70b-chat、stability-ai/sdxl 等 Llama 2 与 SDXL 系列模型。该改进目前仅对 9 月 6 日起新建的微调模型生效，Replicate 表示还在为所有模型做进一步的冷启动优化。
Neon BlogAI 评分3636 用 OpenAI、pg_embedding 和 Neon 做语义搜索
Neon 发布教程，演示如何用 OpenAI、pg_embedding 和 Neon 搭建语义搜索。此前其推出的创业点子相似公司匹配应用在 Hacker News 和 Twitter 上获得 5,000+ 访客和 2,500+ 次提交。
Hugging Face Blog精选AI 评分7878 Hugging Face 集成 Code Llama：7B/13B/34B 模型与推理部署方案
Hugging Face 宣布在自家生态集成 Code Llama，提供 7B、13B、34B 三个参数规模的模型，采用与 Llama 2 相同的社区许可并允许商用。
推荐理由：Hugging Face 官方给出 Code Llama 在自家生态的接入方式、显存建议与基准分数，便于开发者直接选型部署。
OpenAI News精选AI 评分6262 OpenAI 开放 GPT-3.5 Turbo 微调，开发者可用自有数据定制模型
OpenAI 宣布开发者现在可以自带数据对 GPT-3.5 Turbo 进行微调，以适配自己的使用场景。该更新属于 GPT-3.5 Turbo 微调与 API 更新的一部分。
推荐理由：OpenAI 开放 GPT-3.5 Turbo 微调，开发者可用自有数据定制模型，值得关注 API 能力变化。
Replicate Blog精选AI 评分6868 Replicate 将公开模型按秒价格减半，并公布各档 GPU 新价
Replicate 宣布把公开模型的按秒价格减半，本月内对所有公开模型生效，从 SDXL 到 Llama 2 都包含在内，用户无需做任何操作。
推荐理由：Replicate 把公开模型按秒计费价格砍半并给出各档 GPU 新价，可据此估算自己的推理成本。
Replicate BlogAI 评分4242 Replicate API 为语言模型推出流式输出
Replicate 的 API 现已支持语言模型的 server-sent event 流式输出，让应用在模型运行时实时更新。创建 prediction 时开启 stream 选项即可获得 stream URL，浏览器端可用 EventSource 连接，也可用 cURL 和 jq 在终端接收更新。
Replicate Blog精选AI 评分6262 Replicate 为 SDXL 1.0 推出微调支持
Replicate 宣布为 SDXL 1.0 提供微调支持，用户可用自己的图片训练出生成特定人物、物体或风格的新模型。训练只需 5-6 张图片，耗时约 10-15 分钟，默认使用 LoRA，也可切换 Dreambooth 或 Textual Inversion，训练完成后可发布为公开或私有模型并下载 LoRA 权重。
推荐理由：Replicate 为 SDXL 1.0 上线微调支持，给出用几行代码训练自有风格模型的完整流程。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 swift-transformers，在 Apple 设备上运行本地 LLM
Hugging Face 发布 swift-transformers，一个用 Swift 实现 transformers 风格 API 的开发中 Swift 包，聚焦文本生成，并同时放出 swift-chat 示例应用、更新版 exporters 与 transformers-to-coreml 转换工具，以及 Llama 2 7B、Falcon 7B 等已转换模型。
推荐理由：Hugging Face 发布 Swift 端 transformers 风格库与转换工具，Swift 开发者可据此在 Apple 设备上跑本地 LLM。
Supabase Blog精选AI 评分6060 Supabase 新增对 Hugging Face 的支持，从嵌入模型开始
Supabase 宣布在向量工具中新增对 Hugging Face 的一等支持，先从嵌入模型开始，覆盖 Python 客户端 vecs 和 Edge Functions（Deno/JavaScript）。
推荐理由：Supabase 在向量工具中接入 Hugging Face 嵌入模型，并给出 Python 与 Edge Functions 两种调用方式。
Hugging Face BlogAI 评分3636 用 Inference Endpoints 快速部署 MusicGen
Hugging Face 发布教程，介绍如何通过 Inference Endpoints 的自定义 handler 部署 MusicGen 音乐生成模型。
Replicate Blog精选AI 评分6262 Replicate 发布用 API 运行 Llama 2 的教程
Replicate 发布教程，介绍如何用一行代码在云端运行 Meta AI 的 Llama 2，支持官方 JavaScript、Python 客户端以及 cURL 直接调用 HTTP API。
推荐理由：Replicate 官方给出用一行代码在云端调用 Llama 2 的方式，并对比四个模型变体的取舍。
Replicate Blog精选AI 评分5858 Replicate 发布用 API 运行 SDXL 的指南
Replicate 官方发布指南，介绍如何通过 API 运行 Stability AI 的文本生成图像模型 SDXL 1.0，支持文生图、img2img、inpainting 和 refiner。
推荐理由：Replicate 官方说明如何用 API 调用 SDXL，并给出 refiner、img2img 与 inpainting 的用法和参数。
Hugging Face BlogAI 评分2222 Hugging Face Diffusers 一周年：从文生图到视频、3D 与更快推理
Hugging Face 的 Diffusers 库迎来一周年，已从文生图扩展出视频、3D 与图像编辑等多条 pipeline。新增 DeepFloyd IF、Stability AI SDXL 支持，并引入 OpenAI 的 Shap-E 文生 3D 与 Consistency Models，后者在 CPU 上生成 256x256 图像仅需 3/4 秒。
Replicate Blog精选AI 评分6262 Replicate 官方教程：如何微调 Llama 2
Replicate 发布教程，演示如何在平台上微调 Llama 2 7B 做文本摘要，训练数据用 JSONL 格式的 SAMSum 数据集。
推荐理由：Replicate 官方给出在平台上微调 Llama 2 的完整流程，从建模型到跑 API 一步不落。
Replicate Blog精选AI 评分7575 Llama 2 发布后 24 小时内的进展汇总
Meta AI 发布开源语言模型 Llama 2，训练数据达 2 万亿 token，支持 4096 token 上下文，许可证比 v1 更宽松并允许商用。
推荐理由：汇总 Llama 2 发布后一天内出现的部署与试用入口，方便开发者快速了解可用的模型版本和工具。
Hugging Face Blog精选AI 评分8080 Meta 发布 Llama 2，Hugging Face 全面接入
Meta 发布开源大模型 Llama 2，包含 7B、13B、70B 三个规模，采用宽松社区许可并允许商用，Hugging Face 同步完成全面集成。
推荐理由：Hugging Face 官方说明 Llama 2 的接入方式，涵盖推理、部署与单卡微调路径，便于开发者直接上手。
Replit BlogAI 评分2828 Replit 发布 AI 开发报告：AI 项目同比增长 34 倍，OpenAI 占据 80% 以上
Replit 发布 AI 开发状态报告：截至 2023 年 Q2，平台上 AI 相关项目接近 30 万个，其中约 16 万个创建于 Q2，环比增长约 80%，同比增长 34 倍。
OpenAI NewsAI 评分1212 Viable 用 GPT-4 大规模分析定性数据
Viable 借助 GPT-4 以空前规模和精度分析定性数据。该方案面向大规模定性数据分析场景，强调准确性与处理规模上的突破。
Hugging Face BlogAI 评分3636 用开源 ML 模型做一个 Web 应用生成器：Hugging Face 教程
Hugging Face 发布教程，用 Node.js 加 WizardCoder-15B 模型搭建一个能流式生成 HTML 的 Web 应用生成器。模型通过 Inference Endpoints API 调用，也可用免费的 Inference API 跑中小模型，客户端用 @huggingface/inference 库接入。
Neon BlogAI 评分2525 如何用 pgvector 优化向量搜索性能
StackOverflow 2023 调查显示近半数专业开发者使用 Postgres，其向量相似度搜索扩展 pgvector 因此成为 AI 应用原型开发中最流行的选择之一。文章讲解如何正确优化 pgvector 的向量搜索性能。
Hugging Face Blog精选AI 评分6262 Hugging Face 与 Apple 用 6-bit 量化让 Stable Diffusion 在 iPhone 上跑得更快
Hugging Face 介绍了 Apple Core ML 的新压缩与优化能力，通过 6-bit palettization 把 Stable Diffusion 权重从 16-bit 浮点压到每参数 6 bit，在 iPhone 13 上的推理速度比去年 12 月更快、内存占用更低。
推荐理由：Hugging Face 与 Apple 给出 6-bit 调色板量化在 iPhone 上跑 Stable Diffusion 的实测与转换命令，可据此评估端侧部署成本。
OpenAI News精选AI 评分6262 OpenAI 发布 API 更新：函数调用、更长上下文与更低价格
OpenAI 宣布对 API 进行多项更新，包括更易控制的模型、函数调用能力、更长的上下文以及更低的价格。官方未在摘要中给出具体模型名称、上下文长度或降价幅度。
推荐理由：OpenAI 官方公布 API 更新，涉及函数调用、更长上下文与降价，可据此判断接口能力与成本变化。
Supabase Blog精选AI 评分6262 ChatGPT 插件新增 Postgres 与 Supabase 支持
Supabase 向 OpenAI 仓库贡献了 Postgres 和 Supabase 两种向量存储实现，让 ChatGPT 检索插件可以直接用 pgvector 存取私有数据。
推荐理由：Supabase 为 ChatGPT 检索插件贡献了 Postgres 与 Supabase 两种向量存储实现，并给出从建库到接入的完整步骤。
Hugging Face Blog精选AI 评分7878 Hugging Face 用 bitsandbytes 与 QLoRA 让 LLM 支持 4bit 量化
Hugging Face 与 bitsandbytes 合作，在 transformers 中支持以 4bit 精度加载模型，覆盖文本、视觉和多模态等大多数 HF 模型，并可在 4bit 模型上训练适配器。
推荐理由：Hugging Face 与 bitsandbytes 合作把 4bit 量化接入 transformers，并给出 QLoRA 微调与显存实测数据。
Neon BlogAI 评分2828 Neon 推出基于浏览器的 AI SQL Playground，可直接连接 Postgres
Neon 发布基于浏览器的 AI SQL Playground，开发者可直接连接 Neon Postgres 数据库，由 AI 助手生成 SQL。该工具源于几个月前 Neon 内部的 AI hackathon，当时团队用 OpenAI 的 API 做实验，其中一个想法就是为 Postgres 做在线 AI SQL playground。
Supabase Blog精选AI 评分6060 Supabase 发布用 Edge Runtime 构建 ChatGPT 插件的模板
Supabase 发布了一个用 TypeScript 编写、运行在 Supabase Edge Runtime 上的 ChatGPT 插件模板，可在 GitHub 上 fork。
推荐理由：Supabase 官方给出在 Edge Runtime 上搭建 ChatGPT 插件模板的完整步骤，含清单文件、OpenAPI 生成与本地调试。
Replit BlogAI 评分2222 Replit 与 Google Cloud 达成合作，用生成式 AI 推进软件开发
Replit 与 Google Cloud 达成合作，Replit 开发者将通过 Ghostwriter 获得 Google Cloud 基础设施、服务和基础模型，Google Cloud 与 Workspace 开发者则可用上 Replit 的协作代码编辑平台。
Replit BlogAI 评分2222 Replit 如何构建 Ghostwriter Chat：编辑器原生的 AI 结对编程
Replit 在 1 月 Hackweek 期间启动 Ghostwriter Chat 项目并拿下第一名，随后用一个月时间上线，目标是做首个编辑器原生的 LLM 聊天应用。
Replit BlogAI 评分2222 Replit 如何构建 Ghostwriter Chat
Replit 在 1 月 Hackweek 期间启动 Ghostwriter Chat 项目，用约 6-8 周完成从开发到上线，目标是在编辑器内原生提供 LLM 聊天。
OpenAI News精选AI 评分6262 OpenAI 为 ChatGPT 推出插件支持
OpenAI 宣布在 ChatGPT 中实现对插件的初步支持。插件是专为语言模型设计的工具，以安全为核心原则，可帮助 ChatGPT 获取最新信息、执行计算或使用第三方服务。
推荐理由：OpenAI 官方宣布 ChatGPT 支持插件，插件可让模型获取实时信息、执行计算或调用第三方服务。
Replicate Blog精选AI 评分6060 Replicate 教程：如何用 Alpaca-LoRA 微调类 ChatGPT 模型
Replicate 发布教程，介绍如何用 LoRA 和 Alpaca 训练数据微调 LLaMA，并给出从克隆 Alpaca-LoRA 仓库、安装 Cog、转换权重到微调和运行模型的完整步骤。
推荐理由：Replicate 官方给出用 Alpaca-LoRA 微调 LLaMA 的完整步骤，含硬件要求与耗时，可照着复现。
OpenAI NewsAI 评分2020 OpenAI 的 GPT-4 如何帮 Duolingo 填补关键的语言学习空白
OpenAI 的 GPT-4 被用于 Duolingo，帮助其填补关键的语言学习空白。Duolingo 借助 GPT-4 深化对话式学习体验。
OpenAI NewsAI 评分1818 OpenAI 与冰岛如何用 GPT-4 保护冰岛语
冰岛正在用 GPT-4 保护冰岛语。OpenAI 介绍了这一合作，目标是为这门使用人数有限的语言延续未来。
OpenAI NewsAI 评分2020 Be My Eyes 用 GPT-4 改造视觉无障碍体验
Be My Eyes 借助 GPT-4 改造视觉无障碍体验。该应用将 GPT-4 的视觉能力用于帮助视障用户理解图像信息。
OpenAI News精选AI 评分6262 OpenAI 发布 GPT-4 多模态大模型
OpenAI 发布 GPT-4，称其为扩展深度学习的最新里程碑。GPT-4 是一个大型多模态模型，接受图像和文本输入、输出文本，在许多真实场景中能力不及人类，但在多项专业和学术基准上表现出人类水平。
推荐理由：OpenAI 公布 GPT-4 为多模态大模型，可接受图像与文本输入并输出文本，在多项专业与学术基准上达到人类水平。
OpenAI NewsAI 评分2222 Khan Academy 用 GPT-4 试点虚拟课堂教育
Khan Academy 在一项有限试点项目中探索 GPT-4 用于虚拟课堂教育的潜力。该试点由 OpenAI News 披露，具体功能、价格与开放范围均未公布。
OpenAI NewsAI 评分3030 Stripe 借助 GPT-4 优化用户体验并打击欺诈
Stripe 借助 GPT-4 优化用户体验并打击欺诈。OpenAI 在 2023 年 3 月 14 日的发布中披露了这一合作，但未公布具体费率、套餐或增长数据。