Replicate 让 FLUX 微调速度追平基础模型
Replicate 宣布 FLUX 微调运行速度大幅提升,微调后的运行速度已与基础模型相同:FLUX.1 [schnell] 在 512x512、4 步下为 0.6 秒(P50),FLUX.1 [dev] 在 1024x1024、28 步下为 2.8 秒(P50)。
推荐理由:Replicate 公布 FLUX 微调提速的具体延迟数字与开源优化方式,并说明如何关闭这些优化。
Replicate 宣布 FLUX 微调运行速度大幅提升,微调后的运行速度已与基础模型相同:FLUX.1 [schnell] 在 512x512、4 步下为 0.6 秒(P50),FLUX.1 [dev] 在 1024x1024、28 步下为 2.8 秒(P50)。
推荐理由:Replicate 公布 FLUX 微调提速的具体延迟数字与开源优化方式,并说明如何关闭这些优化。
Stability AI 的 Stable Diffusion 3.5 已在 Replicate 上线,提供 Large、Large Turbo 和 Medium 三个版本,Large Turbo 只需 4 步即可生成高质量图像。
推荐理由:Replicate 上线 Stable Diffusion 3.5 三个版本,并给出每张图价格与商用授权门槛,便于开发者评估接入成本。
Bespoke Labs 开发的事实核查模型 Bespoke-Minicheck 已在 Ollama 上线,可对其他模型生成的回答做核查以检测并减少幻觉。它接收文档与待核查声明,若文档支持则输出 Yes,否则输出 No,适合作为 RAG 应用的后处理步骤,确保回答基于检索到的上下文。运行命令为 `ollama run bespoke-minicheck`。
Replicate 现在支持用 Ostris 的 AI Toolkit 微调 FLUX.1 [dev],通过上传少量示例图片即可让模型学会新的风格、角色或物体,训练采用 LoRA 技术。
推荐理由:Replicate 官方给出 FLUX.1 微调的完整流程与成本,含数据准备、参数和定价细节。
Continue 联合创始人 Ty Dunn 在 Ollama 博客发文,介绍如何在 Visual Studio Code 和 JetBrains 中用 Continue 搭配 Ollama 与开源 LLM 搭建本地编码助手。
Replit 回顾 2023 年发布:2 月推出首个对话式 AI 编程助手 Ghostwriter Chat,4 月上线 Deployments,10 月将 AI 代码补全免费开放给所有用户(Replit AI for All),并开源 Replit Code V1.5 3B 模型。
Replit 发布 9 个可直接 Fork 的 AI 模板与 Playground,覆盖 Gemini vs GPT-4 对比、AI 客服、PDF 对话、Weaviate 语义搜索、W&B 的 RAG Bot、会议转录、Whisper API、Qdrant 图像检索和 Hugging Face Transformers。用户可替换模型或数据后一键部署并分享给团队。
Replicate 发布教程,讲解如何用视觉模型、语言模型和文本转语音模型搭建一个实时解说生活的 AI 旁白。视觉部分推荐开源模型 Llava 13B,在 A40 GPU 上每秒 $0.000725、单次请求约 $0.0017;也可用 GPT-4-Vision,250px×140px 图像 $0.00255 加每 1K 输出 token $0.03。
Replicate 发布教程,演示如何用 BAAI/bge-large-en-v1.5 模型生成文本嵌入,并给出从文本列表、JSONL 文件到 SAMSum 数据集的完整代码流程。
推荐理由:Replicate 官方给出用 BGE 模型生成文本嵌入的完整流程,并实测其成本低于 OpenAI Ada v2。
Replit 在 Hugging Face 发布新的代码生成语言模型 Replit Code V1.5 3B,可用于代码补全任务,并允许作为基础模型做应用级微调,对商业使用没有严格限制。
Replit 详解其从零训练自研大语言模型(LLM)的流程,覆盖从原始数据到面向用户的生产环境部署,并采用 Databricks、Hugging Face 和 MosaicML 组成的现代 LLM 技术栈。这些模型主要用于代码生成,但相关技术与经验适用于各类 LLM。Replit 计划在未来数周至数月内通过系列博客披露更多细节。
Nat Friedman 通过 Replit Bounties 悬赏招募开发者 Zain Huda,打造出 LLM 对比工具 nat.dev,Matt Huang 与 Alexandr Wang 共同出资。
Replicate 现在支持部署、运行和微调大型语言模型,官方提供 FLAN-T5、GPT-J 和 LLaMA 版本,也可以推送任意自定义模型。模型可用 Python、Node.js 或 HTTP API 调用,无需自建服务器或 GPU;微调功能处于预览阶段,先开放少量名额,支持 Flan-T5、GPT-J 和 LLaMA。
推荐理由:Replicate 上线语言模型托管与微调预览,开发者可据此判断是否把模型部署从自建 GPU 迁到 API。
Replicate 发布教程,介绍如何用 LoRA 和 Alpaca 训练数据微调 LLaMA,并给出从克隆 Alpaca-LoRA 仓库、安装 Cog、转换权重到微调和运行模型的完整步骤。
推荐理由:Replicate 官方给出用 Alpaca-LoRA 微调 LLaMA 的完整步骤,含硬件要求与耗时,可照着复现。
Replicate 发布指南,介绍如何在 M1 或 M2 芯片的 Mac 上本地运行 Stable Diffusion,需 macOS 12.3 以上、16GB 内存(8GB 可用但极慢)和 Python 3.10。该方案改用 pip 而非 Conda 安装依赖,通过二进制 wheel 免编译,并需从 Hugging Face 下载约 4GB 的 sd-v1-4.ckpt 权重。