跳到正文

主题:基础设施与部署

今日 8 条
3月26日周二
3月21日周四
3月18日周一
3月1日周五
  1. Vercel News62

    Vercel 发布 AI SDK 3.0,支持 Generative UI

    Vercel 发布 AI SDK 3.0,新增 Generative UI 能力,可通过 render 方法把 LLM 响应关联到流式 React Server Components,让模型调用工具后直接渲染自定义 UI,例如查询实时天气并返回组件。

    推荐理由:Vercel 官方发布 AI SDK 3.0,把 LLM 响应映射到流式 React Server Components,并说明了对框架与模型的支持边界。

2月26日周一
  1. Mistral News62

    Mistral 发布旗舰模型 Mistral Large 并上架 Azure

    Mistral 发布旗舰文本生成模型 Mistral Large,可通过 la Plateforme 和 Azure 使用,Azure 是其首个分发合作伙伴。该模型支持 32K tokens 上下文窗口、原生函数调用和 JSON 格式输出,官方称其在常用基准测试中位列 API 可用模型第二(仅次于 GPT-4)。

    推荐理由:Mistral 官方发布旗舰模型 Mistral Large 并首次上架 Azure,可了解其能力定位与端点调整。

2月16日周五
2月13日周二
2月8日周四
  1. Hugging Face Blog62

    Hugging Face 为 TGI 推出兼容 OpenAI 的 Messages API

    Hugging Face 为 Text Generation Inference(TGI)推出 Messages API,从 1.4.0 版本起提供与 OpenAI Chat Completion API 兼容的接口,并同步上线 Inference Endpoints 的专用与无服务器版本。

    推荐理由:Hugging Face 官方发布 TGI 的 Messages API,给出从 OpenAI 迁移到开源模型的代码示例与限制说明。

1月30日周二
1月14日周日
1月12日周五
1月11日周四
  1. Neon Blog58

    OpenAI GPT Store 上线,Neon 发布定制 Postgres GPT 专家

    OpenAI 的 GPT Store 已上线,Neon 借此发布了一个定制的 Neon 和 PostgreSQL OpenAI GPT 专家,用于回答 PostgreSQL 或 Neon 相关问题、协助项目。OpenAI 的 GPT 允许开发者创建定制 ChatGPT 体验,以执行特定任务或回答某一主题的问题。

    推荐理由:Neon 借 OpenAI GPT Store 上线发布自家 PostgreSQL 定制 GPT,可了解数据库厂商如何接入 GPT 生态。

1月10日周三
1月4日周四
12月11日周一
  1. Mistral News78

    Mistral AI 发布开放权重模型 Mixtral 8x7B

    Mistral AI 发布稀疏专家混合模型 Mixtral 8x7B,采用 Apache 2.0 许可开放权重,在多数基准上超过或持平 Llama 2 70B 与 GPT3.5,推理速度比 Llama 2 70B 快 6 倍。

    推荐理由:Mistral 发布 Apache 2.0 许可的开放权重模型,给出与 Llama 2 70B、GPT3.5 的基准对比和部署方式。

12月6日周三
12月5日周二
  1. Hugging Face Blog62

    Hugging Face 发布 Optimum-NVIDIA,一行代码加速 LLM 推理

    Hugging Face 发布推理库 Optimum-NVIDIA,只需把 transformers 的 pipeline 导入改成 optimum.nvidia 一行代码,即可在 NVIDIA 平台获得最高 28 倍吞吐提升和 1,200 tokens/秒,首 token 延迟最高快 3.3 倍。

    推荐理由:Hugging Face 官方发布 Optimum-NVIDIA,给出改一行代码即可提速的实测数据与代码示例。

11月30日周四
11月10日周五
11月9日周四
11月6日周一
  1. OpenAI News78

    OpenAI 在 DevDay 发布 GPT-4 Turbo、Assistants API 等新模型与开发者产品

    OpenAI 在 DevDay 上发布 GPT-4 Turbo,支持 128K 上下文且价格更低,同时推出 Assistants API、带视觉能力的 GPT-4 Turbo 以及 DALL·E 3 API 等开发者产品。材料仅提供摘要,未给出具体价格数字与各产品的详细能力说明。

    推荐理由:OpenAI 在 DevDay 一次性公布新模型与开发者产品,可据此了解模型能力与 API 价格的变化方向。

  2. OpenAI News62

    OpenAI 推出 GPTs,可创建自定义版 ChatGPT

    OpenAI 宣布用户现在可以创建自定义版本的 ChatGPT,把指令、额外知识和任意技能组合在一起。该功能由 OpenAI 官方发布,具体使用方式和开放范围原文未作进一步说明。

    推荐理由:OpenAI 官方宣布可创建自定义版 ChatGPT,读者可了解 GPTs 的组成要素与开放范围。

10月24日周二
10月13日周五
10月11日周三
10月10日周二
10月9日周一
10月6日周五
9月27日周三
  1. Mistral News62

    Mistral AI 发布首个 7B 参数开源模型 Mistral 7B

    Mistral AI 发布首个 7B 参数模型 Mistral 7B,采用 Apache 2.0 许可,官方称其在所有标准英文与代码基准上超过现有 13B 参数以内的开源模型。该模型可用于摘要、结构化与问答等任务,处理与生成文本速度更快、成本更低。Mistral AI 同时开放 GitHub 仓库和 Discord 频道,并表示后续将发布更大模型及面向企业的本地部署方案。

    推荐理由:Mistral AI 官方发布首个 7B 开源模型并说明开放权重路线,可了解其与闭源模型的定位差异。

  2. Replit Blog47

    Superagent.sh 在 Replit 上发布开源 AI 助手框架

    Superagent.sh 用 Replit 打造了一个开源 Agentic AI 框架,让开发者能在几分钟内把生产级 AI 助手集成进任意应用。在 Replit 代码执行库发布 48 小时内,团队就将其接入核心框架,用 Replit Autoscale 部署,并开放 Repl 供社区 fork、定制和自行部署。该框架可构建客服、法律、代码审查、内容生成等场景的 AI 助手。