Ollama 内置兼容 OpenAI Chat Completions API
Ollama 宣布内置兼容 OpenAI Chat Completions API，可在本地用同一套 OpenAI 格式调用模型，只需把 hostname 改为 http://localhost:11434。
主题：认证与账号体系
主题：认证与账号体系
今日 8 条Ollama BlogAI 评分6262
Replicate BlogAI 评分4242 用 API 在 Replicate 上运行 Code Llama 70B
Meta 发布 70B 参数的 Code Llama，在 HumanEval 上得分 67.8，超过零样本 GPT-4。Replicate 上线该模型，提供 Base、Python、Instruct 三个变体，可用 JavaScript、Python、cURL 一行代码调用 meta/codellama-70b-instruct。
Hugging Face Blog精选AI 评分6262 如何在 Hugging Face Spaces 上用 Gradio 免费运行 ComfyUI 工作流
这篇教程分步讲解如何把复杂的 ComfyUI 工作流转成简单的 Gradio 应用，并部署到 Hugging Face Spaces 的 ZeroGPU 无服务器结构上免费运行。
推荐理由：原文给出把 ComfyUI 工作流转成 Gradio 应用并部署到 Hugging Face Spaces ZeroGPU 的完整步骤，可照着复现。
OpenAI NewsAI 评分1212 OpenAI 与 Digital Green 合作为农民搭建农业数据库
Digital Green 使用 OpenAI 为农民搭建农业数据库，目标是提高农民收入。
Neon Blog精选AI 评分5858 OpenAI GPT Store 上线，Neon 发布定制 Postgres GPT 专家
OpenAI 的 GPT Store 已上线，Neon 借此发布了一个定制的 Neon 和 PostgreSQL OpenAI GPT 专家，用于回答 PostgreSQL 或 Neon 相关问题、协助项目。OpenAI 的 GPT 允许开发者创建定制 ChatGPT 体验，以执行特定任务或回答某一主题的问题。
推荐理由：Neon 借 OpenAI GPT Store 上线发布自家 PostgreSQL 定制 GPT，可了解数据库厂商如何接入 GPT 生态。
OpenAI News精选AI 评分5858 OpenAI 推出 GPT Store
OpenAI 发布 GPT Store。材料仅提供标题，暂无更多细节。
Hugging Face Blog精选AI 评分6262 Unsloth 与 TRL 集成：LLM 微调提速 2 倍、显存最多降 74%
Hugging Face 博客介绍社区轻量库 Unsloth，与 transformers、PEFT、TRL 完全兼容，通过将 PyTorch 模块改写为 Triton kernel 实现微调加速，官方称相比标准 QLoRA 精度损失为 0%。
推荐理由：原文给出 Unsloth 与 TRL 的集成方式和 59 次基准测试数据，可据此判断是否替换现有微调流程。
OpenAI NewsAI 评分2020 WHOOP 用 GPT-4 提供个性化健身与健康指导
WHOOP 借助 GPT-4 提供个性化的健身与健康指导。该健康解决方案由 LLM 驱动，面向用户的日常训练与健康管理场景。
Mistral News精选AI 评分7878 Mistral AI 发布开放权重模型 Mixtral 8x7B
Mistral AI 发布稀疏专家混合模型 Mixtral 8x7B，采用 Apache 2.0 许可开放权重，在多数基准上超过或持平 Llama 2 70B 与 GPT3.5，推理速度比 Llama 2 70B 快 6 倍。
推荐理由：Mistral 发布 Apache 2.0 许可的开放权重模型，给出与 Llama 2 70B、GPT3.5 的基准对比和部署方式。
Replicate BlogAI 评分2222 Replicate 教程：如何用 GPT-4-Vision、Llava 13B 和 ElevenLabs 打造你自己的 AI 旁白
Replicate 发布教程，讲解如何用视觉模型、语言模型和文本转语音模型搭建一个实时解说生活的 AI 旁白。视觉部分推荐开源模型 Llava 13B，在 A40 GPU 上每秒 $0.000725、单次请求约 $0.0017；也可用 GPT-4-Vision，250px×140px 图像 $0.00255 加每 1K 输出 token $0.03。
Replicate BlogAI 评分3838 用开源模型克隆你的声音：Replicate 上的 RVC 语音克隆教程
Replicate 发布教程，演示如何用开源模型 Realistic Voice Cloning（RVC）克隆任意声音。
Replicate BlogAI 评分2626 Replicate 获 a16z 领投 4000 万美元 B 轮：企业正在开源 AI 上构建业务
Replicate 完成由 a16z 领投的 4000 万美元 B 轮融资，NVIDIA 旗下 NVentures、Heavybit、Sequoia 和 Y Combinator 参投。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Optimum-NVIDIA，一行代码加速 LLM 推理
Hugging Face 发布推理库 Optimum-NVIDIA，只需把 transformers 的 pipeline 导入改成 optimum.nvidia 一行代码，即可在 NVIDIA 平台获得最高 28 倍吞吐提升和 1,200 tokens/秒，首 token 延迟最高快 3.3 倍。
推荐理由：Hugging Face 官方发布 Optimum-NVIDIA，给出改一行代码即可提速的实测数据与代码示例。
Hugging Face BlogAI 评分3434 Hugging Face 如何让 LoRA 推理提速 300%：告别冷启动
Hugging Face 通过在同一基础模型上动态换载 LoRA 适配器，把 LoRA 推理的冷启动时间从 25s 降到 3s，用户请求响应时间从 35s 降到 13s。Hub 上约 2500 个公开 LoRA 中约 92% 基于 Stable Diffusion XL Base 1.0，此前每个都需单独部署 GPU，如今仅用不到 5 张 A10G 即可服务数百个不同 LoRA。
Replit BlogAI 评分2727 Replit + Weights & Biases：如何构建一个 RAG 问答机器人 WandBot
Weights & Biases 基于 llama-index、FAISS 向量库、Cohere embeddings 和 OpenAI GPT-4 构建了 RAG 问答机器人 WandBot，并托管在 Replit 上，可接入 Discord、Slack、Zendesk 和 ChatGPT GPTs。
Replicate Blog精选AI 评分6262 Replicate 教程：用开源 BGE 模型生成更便宜更快的文本嵌入
Replicate 发布教程，演示如何用 BAAI/bge-large-en-v1.5 模型生成文本嵌入，并给出从文本列表、JSONL 文件到 SAMSum 数据集的完整代码流程。
推荐理由：Replicate 官方给出用 BGE 模型生成文本嵌入的完整流程，并实测其成本低于 OpenAI Ada v2。
OpenAI NewsAI 评分2222 OpenAI 数据合作计划：共建 AI 训练用开源与私有数据集
OpenAI 推出 Data Partnerships，与各方合作创建用于 AI 训练的开源和私有数据集。该计划面向希望参与构建训练数据的机构，具体合作方式与定价未在公告中披露。
Hugging Face Blog精选AI 评分7676 Hugging Face 发布 LCM LoRA，让 SDXL 4 步出图
Hugging Face 发布 Latent Consistency LoRA，通过只训练少量 LoRA 适配层而非蒸馏整个模型，把 Stable Diffusion 和 SDXL 的推理步数从 25 到 50 步降到 4 到 8 步。
推荐理由：Hugging Face 发布 LCM LoRA，把 SDXL 推理从 25 步压到 4 步，并给出各硬件实测耗时。
OpenAI News精选AI 评分7878 OpenAI 在 DevDay 发布 GPT-4 Turbo、Assistants API 等新模型与开发者产品
OpenAI 在 DevDay 上发布 GPT-4 Turbo，支持 128K 上下文且价格更低，同时推出 Assistants API、带视觉能力的 GPT-4 Turbo 以及 DALL·E 3 API 等开发者产品。材料仅提供摘要，未给出具体价格数字与各产品的详细能力说明。
推荐理由：OpenAI 在 DevDay 一次性公布新模型与开发者产品，可据此了解模型能力与 API 价格的变化方向。
OpenAI News精选AI 评分6262 OpenAI 推出 GPTs，可创建自定义版 ChatGPT
OpenAI 宣布用户现在可以创建自定义版本的 ChatGPT，把指令、额外知识和任意技能组合在一起。该功能由 OpenAI 官方发布，具体使用方式和开放范围原文未作进一步说明。
推荐理由：OpenAI 官方宣布可创建自定义版 ChatGPT，读者可了解 GPTs 的组成要素与开放范围。
Hugging Face BlogAI 评分4040 用 Hugging Face Inference Endpoints 部署 Embedding 模型
Hugging Face 发布教程，演示如何用 Text Embeddings Inference（TEI）把开源 Embedding 模型部署到 Inference Endpoints，并支持大规模批量请求。
Replit BlogAI 评分4747 Replit 社区推出开源生成式 UI 组件框架 openv0
独立开发者 @n-raidenai 在 Replit 上发布开源生成式 UI 组件框架 openv0，可通过描述界面自动生成 Tailwind 驱动的 UI 代码，支持 Next.js、React、Svelte 及 NextUI、Flowbite、Shadcn、Lucide。
Replicate BlogAI 评分3838 如何微调 MusicGen 生成任意风格的音乐
Replicate 上线 MusicGen 微调功能，用 8x A40（Large）硬件完整训练一次约 15 分钟，9-10 首、每首超过 30 秒的曲目即可训练出某种风格的音乐模型。
OpenAI NewsAI 评分2222 Typeform 用 GPT-3.5 和 GPT-4 把在线表单变成动态数据收集
Typeform 借助 GPT-3.5 和 GPT-4，将在线表单升级为动态、对话式的数据收集体验。
OpenAI NewsAI 评分2020 Retool 用 GPT-4 帮企业构建 AI 驱动的应用
Retool 借助 GPT-4，让企业能以快速、安全的方式构建 AI 驱动的应用。
Replit BlogAI 评分5555 Replit 在 Hugging Face 发布代码生成模型 Replit Code V1.5 3B
Replit 在 Hugging Face 发布新的代码生成语言模型 Replit Code V1.5 3B，可用于代码补全任务，并允许作为基础模型做应用级微调，对商业使用没有严格限制。
Supabase Blog精选AI 评分6262 Supabase 实测 pgvector 与 Pinecone 的成本和性能
Supabase 用 dbpedia 的 100 万条 OpenAI embeddings（1536 维）对比 pgvector 与 Pinecone 的查询性能和成本。
推荐理由：Supabase 用同一数据集对比 pgvector 与 Pinecone 的 QPS、精度和月成本，可据此估算向量检索方案的开销。
Replicate BlogAI 评分4040 用 Llama 2 + Grammars 做信息抽取：Replicate 的航班确认邮件解析实践
Replicate 发布文章，演示如何用内置 grammars 支持的 Llama 2 模型把航班确认邮件抽取成符合 JSON Schema 的 JSON 文档。
Replicate BlogAI 评分4747 如何用 API 运行 Mistral 7B
Mistral AI 的新开源语言模型 Mistral 7B 已由 @a16z-infra 推上 Replicate，性能超过其他 70 亿参数模型，也优于 Llama 2 13B，部分场景接近原始 Llama 34B。
Mistral News精选AI 评分6262 Mistral AI 发布首个 7B 参数开源模型 Mistral 7B
Mistral AI 发布首个 7B 参数模型 Mistral 7B，采用 Apache 2.0 许可，官方称其在所有标准英文与代码基准上超过现有 13B 参数以内的开源模型。该模型可用于摘要、结构化与问答等任务，处理与生成文本速度更快、成本更低。Mistral AI 同时开放 GitHub 仓库和 Discord 频道，并表示后续将发布更大模型及面向企业的本地部署方案。
推荐理由：Mistral AI 官方发布首个 7B 开源模型并说明开放权重路线，可了解其与闭源模型的定位差异。
Replit BlogAI 评分4747 Superagent.sh 在 Replit 上发布开源 AI 助手框架
Superagent.sh 用 Replit 打造了一个开源 Agentic AI 框架，让开发者能在几分钟内把生产级 AI 助手集成进任意应用。在 Replit 代码执行库发布 48 小时内，团队就将其接入核心框架，用 Replit Autoscale 部署，并开放 Repl 供社区 fork、定制和自行部署。该框架可构建客服、法律、代码审查、内容生成等场景的 AI 助手。
Hugging Face BlogAI 评分4242 Llama 2 在 Amazon SageMaker 上的部署基准测试
Hugging Face 对 Llama 2 在 Amazon SageMaker 上的 60 种部署配置做了基准测试，覆盖 7B、13B、70B 三种模型规模、1/5/10/20 并发请求，以及 g5.2xlarge、g5.12xlarge、g5.48xlarge 和 p4d.24xlarge 四种实例。
OpenAI News精选AI 评分6262 ChatGPT 新增看、听、说能力
OpenAI 宣布 ChatGPT 现在可以看、听和说话。
Replit BlogAI 评分5555 Replit 发布 AI Agent 代码执行 API，沙箱内运行不可信代码
Replit 发布无状态代码执行 API，可在沙箱中运行 AI Agent 生成的不可信代码，请求延迟低至 100ms，基于 omegajail 非特权容器，仅支持 Autoscale Deployments。
Replicate BlogAI 评分4242 Replicate 微调模型冷启动缩短至 1 秒内
Replicate 将微调模型的冷启动时间从最长几分钟缩短到不到 1 秒，适用于 meta/llama-2-7b-chat、meta/llama-2-70b-chat、stability-ai/sdxl 等 Llama 2 与 SDXL 系列模型。该改进目前仅对 9 月 6 日起新建的微调模型生效，Replicate 表示还在为所有模型做进一步的冷启动优化。
Neon BlogAI 评分3636 用 OpenAI、pg_embedding 和 Neon 做语义搜索
Neon 发布教程，演示如何用 OpenAI、pg_embedding 和 Neon 搭建语义搜索。此前其推出的创业点子相似公司匹配应用在 Hacker News 和 Twitter 上获得 5,000+ 访客和 2,500+ 次提交。
Hugging Face Blog精选AI 评分7878 Hugging Face 集成 Code Llama：7B/13B/34B 模型与推理部署方案
Hugging Face 宣布在自家生态集成 Code Llama，提供 7B、13B、34B 三个参数规模的模型，采用与 Llama 2 相同的社区许可并允许商用。
推荐理由：Hugging Face 官方给出 Code Llama 在自家生态的接入方式、显存建议与基准分数，便于开发者直接选型部署。
OpenAI News精选AI 评分6262 OpenAI 开放 GPT-3.5 Turbo 微调，开发者可用自有数据定制模型
OpenAI 宣布开发者现在可以自带数据对 GPT-3.5 Turbo 进行微调，以适配自己的使用场景。该更新属于 GPT-3.5 Turbo 微调与 API 更新的一部分。
推荐理由：OpenAI 开放 GPT-3.5 Turbo 微调，开发者可用自有数据定制模型，值得关注 API 能力变化。
Replicate Blog精选AI 评分6868 Replicate 将公开模型按秒价格减半，并公布各档 GPU 新价
Replicate 宣布把公开模型的按秒价格减半，本月内对所有公开模型生效，从 SDXL 到 Llama 2 都包含在内，用户无需做任何操作。
推荐理由：Replicate 把公开模型按秒计费价格砍半并给出各档 GPU 新价，可据此估算自己的推理成本。
Replicate BlogAI 评分4242 Replicate API 为语言模型推出流式输出
Replicate 的 API 现已支持语言模型的 server-sent event 流式输出，让应用在模型运行时实时更新。创建 prediction 时开启 stream 选项即可获得 stream URL，浏览器端可用 EventSource 连接，也可用 cURL 和 jq 在终端接收更新。