跳到正文

主题:基础设施与部署

今日 8 条
2月12日周三
2月7日周五
2月5日周三
1月31日周五
1月30日周四
  1. Mistral News62

    Mistral 发布 Apache 2.0 许可的 24B 模型 Mistral Small 3

    Mistral 发布 Mistral Small 3,一个 24B 参数、Apache 2.0 许可的延迟优化模型,官方称其性能与 Llama 3.3 70B instruct 相当,同硬件上快 3 倍以上,MMLU 准确率超过 81%、延迟 150 tokens/s。

    推荐理由:Mistral 官方发布 24B 开源模型,给出与 Llama 3.3 70B、GPT-4o-mini 的对比和本地部署门槛。

1月28日周二
1月24日周五
  1. OpenRouter Blog58

    OpenRouter 推出 Reasoning Tokens,可查看模型推理过程

    OpenRouter 发布 Reasoning Tokens 功能,在 Chatroom 和 API 中都能观察模型的推理步骤。使用时在 API 请求中加入 include_reasoning: true,推理内容会出现在每条消息的 reasoning 字段中。该功能首批支持 DeepSeek R1 系列模型,后续将支持 Gemini Thinking 模型。

    推荐理由:OpenRouter 上线推理 token 功能,开发者可经 API 查看模型推理过程并接入工作流。

1月23日周四
  1. OpenRouter Blog20

    OpenRouter 统一 finish reasons 字段

    OpenRouter 宣布对 API 返回的 finish reasons 做标准化处理,让不同模型返回的结束原因字段保持一致。开发者无需再针对各家模型的差异分别适配,可统一判断生成是正常结束、触发长度上限还是被内容过滤拦截。

1月20日周一
1月17日周五
1月13日周一
1月2日周四
1月1日周三
12月24日周二
  1. OpenRouter Blog60

    OpenRouter 上线网页搜索功能并下调多款模型价格

    OpenRouter 推出网页搜索功能,可在 Chatroom 中为任意语言模型提供最新信息,目前免费,API 访问稍后开放。同时下调多款模型价格,qwen-2.5-coder-32b-instruct 降 12%,hermes-3-llama-3.1-70b、llama-3.3-70b-instruct、llama-3.1-70b-instruct 等降 31%。

    推荐理由:OpenRouter 上线网页搜索并下调多款模型价格,读者可据此了解其能力与调用成本变化。

12月21日周六
12月19日周四
12月17日周二
12月16日周一
12月12日周四
  1. OpenRouter Blog60

    OpenRouter 上线结构化输出并免费开放 Gemini Flash 2.0

    OpenRouter 为 OpenAI 4o 和 Fireworks 模型推出结构化输出,支持 JSON Schema 校验,保证类型安全且一致的响应,更多提供商即将支持。同时免费开放 Google 的 Gemini Flash 2.0,官方称其首 token 时间显著更快,多模态理解、编码能力和函数调用均有提升,但初期会严格限流以便在所有用户间共享访问。

    推荐理由:OpenRouter 同时上线结构化输出与 Gemini Flash 2.0 免费入口,可了解其支持的模型范围与限流情况。

12月9日周一
12月6日周五
12月4日周三
  1. Neon Blog38

    Neon 的 MCP Server 发布

    Neon 宣布推出 MCP Server,用于把自身能力接入 LLM 与 agent。此前 Anthropic 刚推出开放协议 Model Context Protocol,让 LLM 更容易对接外部数据源与工具。Neon 表示已基于该协议完成接入。

11月26日周二
  1. Replicate Blog62

    Replicate 让 FLUX 微调速度追平基础模型

    Replicate 宣布 FLUX 微调运行速度大幅提升,微调后的运行速度已与基础模型相同:FLUX.1 [schnell] 在 512x512、4 步下为 0.6 秒(P50),FLUX.1 [dev] 在 1024x1024、28 步下为 2.8 秒(P50)。

    推荐理由:Replicate 公布 FLUX 微调提速的具体延迟数字与开源优化方式,并说明如何关闭这些优化。

11月25日周一
11月21日周四
11月18日周一
  1. Mistral News60

    Mistral 为 le Chat 加入联网搜索、Canvas、图像生成与 Agents

    Mistral AI 为免费生成式 AI 工作助手 le Chat 推出多项 beta 功能:带引用的联网搜索、用于构思与行内编辑及导出的 Canvas、由新多模态模型 Pixtral Large 支持的文档与图像理解、由 Black Forest Labs Flux Pro 支持的图像生成,以及可自动执行重复工作流并分享给同事的 Agents。

    推荐理由:Mistral 官方公布 le Chat 新增联网搜索、Canvas、图像生成与 Agents,并给出与 ChatGPT、Perplexity、Claude 的功能对照。

11月15日周五
  1. Qwen Blog62

    Qwen2.5-Turbo 发布:上下文扩展到 1M tokens,首 token 延迟降至 68 秒

    Qwen2.5-Turbo 把上下文长度从 128k 扩展到 1M tokens,约等于 100 万英文单词或 150 万汉字,在 1M 长度 Passkey Retrieval 任务上准确率 100%,RULER 得分 93.1,超过 GPT-4 的 91.6。

    推荐理由:Qwen2.5-Turbo 把上下文从 128k 扩到 1M,并给出首 token 延迟与价格对比,可据此判断长文本场景是否值得迁移。

11月9日周六
11月7日周四
  1. Mistral News62

    Mistral 在 La Plateforme 上线 Batch API,成本比同步调用低 50%

    Mistral 在 La Plateforme 上线 Batch API,处理高并发请求的成本比同步 API 调用低 50%。使用方式是上传批量文件、处理完成后下载输出文件,适用于客户反馈与情感分析、文档批量摘要与翻译、为搜索索引生成向量嵌入以及数据标注等场景。该接口覆盖 La Plateforme 上的全部模型,每个工作区最多 100 万个进行中的请求,后续将登陆其云服务商合作伙伴。

    推荐理由:Mistral 在多家 API 涨价背景下推出批量接口,成本比同步调用低 50%,可对照自己的批量任务量评估迁移。

11月5日周二
10月31日周四
10月29日周二
10月23日周三
  1. Hugging Face Blog58

    Hugging Face 发布 HUGS:零配置开源模型推理微服务

    Hugging Face 发布 HUGS(Hugging Face Generative AI Services),一套零配置的优化推理微服务,基于 Text Generation Inference 和 Transformers,可在自有基础设施上部署开源模型。

    推荐理由:Hugging Face 官方发布零配置推理微服务 HUGS,给出定价与支持模型清单,可对照自建推理方案的成本与迁移路径。

10月22日周二
  1. Hugging Face Blog38

    如何在 Hugging Face Inference Endpoints 上部署 Speech-to-Speech

    Hugging Face 发布 Speech-to-Speech(S2S)项目,用 VAD、STT、LM、TTS 级联管线实现语音进语音出,支持英语、法语、西班牙语、中文、日语和韩语,可用 auto 标志自动检测语言。由于本地运行对算力要求高,官方给出用自定义 Docker 镜像部署到 Inference Endpoints 的完整步骤,按运行时长租用 GPU 计费。