跳到正文

主题:认证与账号体系

今日 8 条
1月20日周一
1月17日周五
1月13日周一
1月2日周四
1月1日周三
12月24日周二
  1. OpenRouter Blog60

    OpenRouter 上线网页搜索功能并下调多款模型价格

    OpenRouter 推出网页搜索功能,可在 Chatroom 中为任意语言模型提供最新信息,目前免费,API 访问稍后开放。同时下调多款模型价格,qwen-2.5-coder-32b-instruct 降 12%,hermes-3-llama-3.1-70b、llama-3.3-70b-instruct、llama-3.1-70b-instruct 等降 31%。

    推荐理由:OpenRouter 上线网页搜索并下调多款模型价格,读者可据此了解其能力与调用成本变化。

12月21日周六
12月19日周四
12月17日周二
12月16日周一
12月12日周四
  1. OpenRouter Blog60

    OpenRouter 上线结构化输出并免费开放 Gemini Flash 2.0

    OpenRouter 为 OpenAI 4o 和 Fireworks 模型推出结构化输出,支持 JSON Schema 校验,保证类型安全且一致的响应,更多提供商即将支持。同时免费开放 Google 的 Gemini Flash 2.0,官方称其首 token 时间显著更快,多模态理解、编码能力和函数调用均有提升,但初期会严格限流以便在所有用户间共享访问。

    推荐理由:OpenRouter 同时上线结构化输出与 Gemini Flash 2.0 免费入口,可了解其支持的模型范围与限流情况。

12月9日周一
12月6日周五
12月4日周三
  1. Neon Blog38

    Neon 的 MCP Server 发布

    Neon 宣布推出 MCP Server,用于把自身能力接入 LLM 与 agent。此前 Anthropic 刚推出开放协议 Model Context Protocol,让 LLM 更容易对接外部数据源与工具。Neon 表示已基于该协议完成接入。

11月26日周二
  1. Replicate Blog62

    Replicate 让 FLUX 微调速度追平基础模型

    Replicate 宣布 FLUX 微调运行速度大幅提升,微调后的运行速度已与基础模型相同:FLUX.1 [schnell] 在 512x512、4 步下为 0.6 秒(P50),FLUX.1 [dev] 在 1024x1024、28 步下为 2.8 秒(P50)。

    推荐理由:Replicate 公布 FLUX 微调提速的具体延迟数字与开源优化方式,并说明如何关闭这些优化。

11月25日周一
11月21日周四
11月18日周一
  1. Mistral News60

    Mistral 为 le Chat 加入联网搜索、Canvas、图像生成与 Agents

    Mistral AI 为免费生成式 AI 工作助手 le Chat 推出多项 beta 功能:带引用的联网搜索、用于构思与行内编辑及导出的 Canvas、由新多模态模型 Pixtral Large 支持的文档与图像理解、由 Black Forest Labs Flux Pro 支持的图像生成,以及可自动执行重复工作流并分享给同事的 Agents。

    推荐理由:Mistral 官方公布 le Chat 新增联网搜索、Canvas、图像生成与 Agents,并给出与 ChatGPT、Perplexity、Claude 的功能对照。

11月15日周五
  1. Qwen Blog62

    Qwen2.5-Turbo 发布:上下文扩展到 1M tokens,首 token 延迟降至 68 秒

    Qwen2.5-Turbo 把上下文长度从 128k 扩展到 1M tokens,约等于 100 万英文单词或 150 万汉字,在 1M 长度 Passkey Retrieval 任务上准确率 100%,RULER 得分 93.1,超过 GPT-4 的 91.6。

    推荐理由:Qwen2.5-Turbo 把上下文从 128k 扩到 1M,并给出首 token 延迟与价格对比,可据此判断长文本场景是否值得迁移。

11月9日周六
11月7日周四
  1. Mistral News62

    Mistral 在 La Plateforme 上线 Batch API,成本比同步调用低 50%

    Mistral 在 La Plateforme 上线 Batch API,处理高并发请求的成本比同步 API 调用低 50%。使用方式是上传批量文件、处理完成后下载输出文件,适用于客户反馈与情感分析、文档批量摘要与翻译、为搜索索引生成向量嵌入以及数据标注等场景。该接口覆盖 La Plateforme 上的全部模型,每个工作区最多 100 万个进行中的请求,后续将登陆其云服务商合作伙伴。

    推荐理由:Mistral 在多家 API 涨价背景下推出批量接口,成本比同步调用低 50%,可对照自己的批量任务量评估迁移。

11月5日周二
10月31日周四
10月29日周二
10月23日周三
  1. Hugging Face Blog58

    Hugging Face 发布 HUGS:零配置开源模型推理微服务

    Hugging Face 发布 HUGS(Hugging Face Generative AI Services),一套零配置的优化推理微服务,基于 Text Generation Inference 和 Transformers,可在自有基础设施上部署开源模型。

    推荐理由:Hugging Face 官方发布零配置推理微服务 HUGS,给出定价与支持模型清单,可对照自建推理方案的成本与迁移路径。

10月22日周二
  1. Hugging Face Blog38

    如何在 Hugging Face Inference Endpoints 上部署 Speech-to-Speech

    Hugging Face 发布 Speech-to-Speech(S2S)项目,用 VAD、STT、LM、TTS 级联管线实现语音进语音出,支持英语、法语、西班牙语、中文、日语和韩语,可用 auto 标志自动检测语言。由于本地运行对算力要求高,官方给出用自定义 Docker 镜像部署到 Inference Endpoints 的完整步骤,按运行时长租用 GPU 计费。

10月16日周三
  1. Mistral News62

    Mistral 发布 Ministral 3B 与 8B 边缘模型

    Mistral AI 发布 Ministral 3B 和 Ministral 8B 两款面向端侧与边缘计算的模型,支持最高 128k 上下文(vLLM 上目前为 32k),8B 采用交错滑动窗口注意力以提升推理速度并降低内存占用。

    推荐理由:Mistral 发布两款 3B 与 8B 边缘模型,给出 API 定价和基准对比,可据此评估端侧与 Agent 场景的选型成本。

10月10日周四
  1. Replicate Blog60

    Replicate 让 FLUX 提速并开源优化代码

    Replicate 宣布 FLUX 在其平台上的推理速度大幅提升,FLUX.1 [schnell] 在 512x512、4 步下为 0.29 秒(P90 0.49 秒),1024x1024、4 步下为 0.72 秒(P90 0.95 秒),FLUX.1 [dev] 在 1024x1024、28 步下为 3.03 秒(P90 3.90 秒)。

    推荐理由:Replicate 公开了 FLUX 提速的具体做法和端到端延迟数据,并开源优化代码,可了解推理加速路径。

10月3日周四
  1. Replicate Blog62

    Replicate 上线 FLUX1.1 [pro],生成速度提升 6 倍、每张 $0.04

    Replicate 上线 Black Forest Labs 的新模型 FLUX1.1 [pro],生成速度是 FLUX.1 [pro] 的 6 倍,图像质量、提示词遵循度和输出多样性均有提升,在 Replicate 上定价为每张 $0.04。

    推荐理由:Replicate 上线 Black Forest Labs 的 FLUX1.1 [pro],给出每张 $0.04 的定价和提速数据,可据此评估图像生成成本。

10月1日周二