跳到正文

主题:开源项目

今日 8 条
7月17日周四
7月15日周二
  1. Mistral News71

    Mistral 发布 Voxtral 语音理解模型,24B 与 3B 双版本开源

    Mistral 发布 Voxtral 语音理解模型,提供 24B 和 3B 两个版本,均以 Apache 2.0 许可开源并上线 API。模型支持 32k token 上下文,可处理最长 30 分钟转写或 40 分钟理解,具备问答、摘要、多语言和语音触发函数调用能力,API 定价 $0.001 每分钟。

    推荐理由:Mistral 发布两款开源语音理解模型,给出与 Whisper、GPT-4o mini 等竞品的价格和错误率对比。

7月1日周二
6月27日周五
6月26日周四
6月18日周三
  1. Shopify Engineering60

    Shopify 开源 Roast:用 YAML 编排结构化 AI 工作流

    Shopify 的 Augmented Engineering DX 团队开源了 Roast,一个用 YAML 配置和 markdown prompt 编排 AI 工作流的命令行框架,把非确定性的 AI 步骤与普通代码执行交错组合。

    推荐理由:Shopify 开源了用 YAML 编排 AI 步骤与普通代码的框架 Roast,可了解结构化 Agent 工作流的实现方式。

6月5日周四
6月3日周二
4月7日周一
2月25日周二
2月7日周五
1月28日周二
11月12日周二
  1. Qwen Blog62

    Qwen 开源 Qwen2.5-Coder 系列,32B 版本编码能力对标 GPT-4o

    Qwen 团队开源 Qwen2.5-Coder 系列,覆盖 0.5B/1.5B/3B/7B/14B/32B 六种尺寸,其中 32B-Instruct 在 EvalPlus、LiveCodeBench、BigCodeBench 等基准上取得开源模型最佳表现,编码能力对标 GPT-4o。

    推荐理由:Qwen 官方开源 6 个尺寸的代码模型,32B 版本在多项基准上对标 GPT-4o,并给出 Cursor 与 Artifacts 场景实测。

10月23日周三
  1. Hugging Face Blog58

    Hugging Face 发布 HUGS:零配置开源模型推理微服务

    Hugging Face 发布 HUGS(Hugging Face Generative AI Services),一套零配置的优化推理微服务,基于 Text Generation Inference 和 Transformers,可在自有基础设施上部署开源模型。

    推荐理由:Hugging Face 官方发布零配置推理微服务 HUGS,给出定价与支持模型清单,可对照自建推理方案的成本与迁移路径。

10月10日周四
  1. Replicate Blog60

    Replicate 让 FLUX 提速并开源优化代码

    Replicate 宣布 FLUX 在其平台上的推理速度大幅提升,FLUX.1 [schnell] 在 512x512、4 步下为 0.29 秒(P90 0.49 秒),1024x1024、4 步下为 0.72 秒(P90 0.95 秒),FLUX.1 [dev] 在 1024x1024、28 步下为 3.03 秒(P90 3.90 秒)。

    推荐理由:Replicate 公开了 FLUX 提速的具体做法和端到端延迟数据,并开源优化代码,可了解推理加速路径。

9月25日周三
  1. Ollama Blog62

    Ollama 上线 Llama 3.2,含 1B 到 90B 四个尺寸

    Meta 的 Llama 3.2 现已可通过 Ollama 运行,执行 ollama run llama3.2 即可使用。1B 和 3B 为纯文本模型,针对手机或边缘设备本地运行优化,可用于构建端侧个性化 Agent,处理在本地完成以保护隐私。11B 和 90B 为视觉模型,支持图表等文档理解和图像描述,官方称即将推出。

9月18日周三
  1. Ollama Blog40

    Ollama 上线 Bespoke-Minicheck:用事实核查减少幻觉

    Bespoke Labs 开发的事实核查模型 Bespoke-Minicheck 已在 Ollama 上线,可对其他模型生成的回答做核查以检测并减少幻觉。它接收文档与待核查声明,若文档支持则输出 Yes,否则输出 No,适合作为 RAG 应用的后处理步骤,确保回答基于检索到的上下文。运行命令为 `ollama run bespoke-minicheck`。

7月18日周四
  1. Hugging Face Blog62

    Hugging Face TGI 推出 Multi-LoRA:一次部署服务 30 个模型

    Hugging Face 为 TGI 推出 Multi-LoRA serving,只需部署一次基础模型,就能按请求动态切换多个 LoRA 适配器,官方示例用 mistralai/Mistral-7B-v0.1 同时服务 predibase/customer_support 和 predibase/magicoder。

    推荐理由:Hugging Face 官方介绍 TGI 的 Multi-LoRA 部署方式,给出成本与用量对比,适合评估多模型推理方案。

7月16日周二
  1. Mistral News62

    Mistral 发布 Codestral Mamba 代码模型,Apache 2.0 许可可免费使用

    Mistral 发布 Codestral Mamba,一个基于 Mamba 架构的代码模型,采用 Apache 2.0 许可,可免费使用、修改和分发。该模型具备线性时间推理能力,官方测试了最高 256k tokens 的上下文检索,并称其表现与 SOTA Transformer 模型相当。

    推荐理由:Mistral 发布 Codestral Mamba,给出线性时间推理、256k 上下文测试和 Apache 2.0 许可,可对照其与 Transformer 代码模型的差异。

5月31日周五
5月9日周四
4月18日周四
4月8日周一
2月16日周五
2月8日周四
  1. Hugging Face Blog62

    Hugging Face 为 TGI 推出兼容 OpenAI 的 Messages API

    Hugging Face 为 Text Generation Inference(TGI)推出 Messages API,从 1.4.0 版本起提供与 OpenAI Chat Completion API 兼容的接口,并同步上线 Inference Endpoints 的专用与无服务器版本。

    推荐理由:Hugging Face 官方发布 TGI 的 Messages API,给出从 OpenAI 迁移到开源模型的代码示例与限制说明。

1月14日周日
1月10日周三
12月22日周五
  1. Replit Blog40

    Replit 聚焦 CrewAI:用 LangChain 编排 AI Agent 团队

    CrewAI 是一个基于 LangChain 构建的库,专门用于构建和编排 AI Agent 团队,可在 Replit 上原生云端运行。它由 Agents、Tasks、Tools、Crews 四个模块组成,兼容 Ollama 本地开源模型,并可用 LangSmith 记录和调试 Agent 运行。Replit 上已提供行程规划、落地页生成、个股分析等模板,可 fork 后自行定制测试。

12月5日周二
  1. Hugging Face Blog62

    Hugging Face 发布 Optimum-NVIDIA,一行代码加速 LLM 推理

    Hugging Face 发布推理库 Optimum-NVIDIA,只需把 transformers 的 pipeline 导入改成 optimum.nvidia 一行代码,即可在 NVIDIA 平台获得最高 28 倍吞吐提升和 1,200 tokens/秒,首 token 延迟最高快 3.3 倍。

    推荐理由:Hugging Face 官方发布 Optimum-NVIDIA,给出改一行代码即可提速的实测数据与代码示例。

11月30日周四
11月9日周四
10月27日周五
  1. Hugging Face Blog62

    Hugging Face 用自家代码库微调 StarCoder 打造个人 Copilot

    Hugging Face 团队用自家 GitHub 组织的公开仓库代码微调 StarCoder,做出名为 HugCoder 的个人代码助手,并公开了完整流程。数据采集上他们克隆全部公开仓库本地提取内容,只保留代码文件并排除 .git、__pycache__ 等路径,最终数据集发布在 Hub 上。

    推荐理由:完整给出从数据采集到 QLoRA 微调、VS Code 接入和本地部署的流程与成本对比,可照着复现。

10月24日周二
9月27日周三
  1. Mistral News62

    Mistral AI 发布首个 7B 参数开源模型 Mistral 7B

    Mistral AI 发布首个 7B 参数模型 Mistral 7B,采用 Apache 2.0 许可,官方称其在所有标准英文与代码基准上超过现有 13B 参数以内的开源模型。该模型可用于摘要、结构化与问答等任务,处理与生成文本速度更快、成本更低。Mistral AI 同时开放 GitHub 仓库和 Discord 频道,并表示后续将发布更大模型及面向企业的本地部署方案。

    推荐理由:Mistral AI 官方发布首个 7B 开源模型并说明开放权重路线,可了解其与闭源模型的定位差异。

  2. Replit Blog47

    Superagent.sh 在 Replit 上发布开源 AI 助手框架

    Superagent.sh 用 Replit 打造了一个开源 Agentic AI 框架,让开发者能在几分钟内把生产级 AI 助手集成进任意应用。在 Replit 代码执行库发布 48 小时内,团队就将其接入核心框架,用 Replit Autoscale 部署,并开放 Repl 供社区 fork、定制和自行部署。该框架可构建客服、法律、代码审查、内容生成等场景的 AI 助手。

9月26日周二