Mistral 发布 Mistral Large 2，123B 参数支持 128k 上下文
Mistral AI 发布 Mistral Large 2，模型规模 123B 参数，支持 128k 上下文窗口和数十种语言，可在单节点上实现大吞吐推理。
推荐理由：Mistral Large 2 的 128k 上下文、123B 参数与单节点推理定位，是评估自部署成本与多语言能力的直接参考。
主题：基础设施与部署
主题：基础设施与部署
今日 8 条Mistral News精选AI 评分6262
Replicate Blog精选AI 评分6060 Replicate 上线 Meta Llama 3.1 405B API，支持一行代码调用
Replicate 宣布可通过其 API 运行 Meta 的 Llama 3.1 405B 模型，该模型有 4050 亿参数、8000 token 上下文窗口，官方称其在多项基准上接近或达到 GPT-4 水平。Replicate 提供了 JavaScript、Python 和 cURL 三种调用方式，并给出 Next.js 示例聊天应用，可部署在 Vercel 上。
推荐理由：Replicate 官方给出 Llama 3.1 405B 的 API 调用方式，含 JavaScript、Python 与 cURL 三种示例。
Neon BlogAI 评分3131 用自然语言与 Neon Postgres 对话：AskYourDatabase 介绍
AskYourDatabase 让非技术团队成员用自然语言与 Neon Postgres 数据库交互，无需编写 SQL 查询。SQL 数据库对非技术成员往往难以使用，通常需要定制 GUI 工具，而写 SQL 会成为获取数据的障碍，AI 可在此提供帮助。
OpenAI News精选AI 评分6262 OpenAI 发布 GPT-4o mini，主打低成本智能
OpenAI 发布 GPT-4o mini，定位为更具成本效率的智能模型。材料仅提供标题，未包含正文内容，具体价格与能力细节暂无法确认。
Hugging Face Blog精选AI 评分6262 Hugging Face TGI 推出 Multi-LoRA：一次部署服务 30 个模型
Hugging Face 为 TGI 推出 Multi-LoRA serving，只需部署一次基础模型，就能按请求动态切换多个 LoRA 适配器，官方示例用 mistralai/Mistral-7B-v0.1 同时服务 predibase/customer_support 和 predibase/magicoder。
推荐理由：Hugging Face 官方介绍 TGI 的 Multi-LoRA 部署方式，给出成本与用量对比，适合评估多模型推理方案。
Mistral News精选AI 评分6262 Mistral 发布 Codestral Mamba 代码模型，Apache 2.0 许可可免费使用
Mistral 发布 Codestral Mamba，一个基于 Mamba 架构的代码模型，采用 Apache 2.0 许可，可免费使用、修改和分发。该模型具备线性时间推理能力，官方测试了最高 256k tokens 的上下文检索，并称其表现与 SOTA Transformer 模型相当。
推荐理由：Mistral 发布 Codestral Mamba，给出线性时间推理、256k 上下文测试和 Apache 2.0 许可，可对照其与 Transformer 代码模型的差异。
Hugging Face BlogAI 评分5454 Hugging Face 在 Inference Endpoints 和 Spaces 上线 Google Cloud TPU v5e
Hugging Face 宣布 Google Cloud TPU v5e 已可在 Inference Endpoints 和 Spaces 上使用，用户选择 Google Cloud Platform 和 us-west1 区域后即可挑选 TPU 配置。
Hugging Face BlogAI 评分1818 XLSCOUT 发布 ParaEmbed 2.0：面向专利与 IP 的嵌入模型，获 Hugging Face 专家支持
多伦多 AI 专利公司 XLSCOUT 发布专有嵌入模型 ParaEmbed 2.0，经 Hugging Face Expert Support Program 协作，在人工专家整理的多领域专利数据上微调，准确率较 2023 年 10 月发布的 ParaEmbed 1.0 提升 23%。
Vercel NewsAI 评分5050 Vercel 发布 AI SDK 3.2，新增 Agent 多步工作流与 Embeddings 支持
Vercel 发布 AI SDK 3.2，围绕 Agent、Provider、Embeddings 和开发体验四方面扩展能力。
Replicate BlogAI 评分3131 Replicate 即将支持 NVIDIA H100 GPU
Replicate 宣布即将新增对 NVIDIA H100 GPU 的支持，此前平台已支持 NVIDIA T4、A40、A100 GPU 以及 CPU。想提前体验 H100 的用户可发邮件至 [email protected] 申请早期访问。
Replicate BlogAI 评分3838 用 Replicate API 运行 Stable Diffusion 3
Replicate 上线 Stability 最新的文生图模型 Stable Diffusion 3，可通过一行代码调用，模型标识为 stability-ai/stable-diffusion-3。
Mistral News精选AI 评分6262 Mistral 在 la Plateforme 推出模型微调能力
Mistral AI 在 la Plateforme 上线模型定制功能，提供三种微调入口：开源微调 SDK mistral-finetune、la Plateforme 上的无服务器微调服务，以及面向特定客户的定制训练服务。
推荐理由：Mistral 官方发布微调能力，给出开源 SDK、托管服务与定制训练三条路径，便于开发者按成本与数据条件选择。
Mistral NewsAI 评分1717 Mistral AI 举办微调黑客松：用全新 fine-tuning API 参赛，前 3 名各得 €2,500 API 额度
Mistral AI 于 2024 年 6 月 5 日至 30 日举办线上微调黑客松，参赛项目必须使用其全新的 fine-tuning API，前 3 名各获 €2,500 Mistral API 额度。
OpenAI NewsAI 评分2525 MavenAGI 推出基于 GPT-4 的 AI 客服代理
MavenAGI 推出一款基于 GPT-4 的 AI 客服代理，Tripadvisor、Clickup 和 Rho 等公司已在使用，用于节省时间并更好地服务客户。
Mistral News精选AI 评分6262 Mistral 发布首个代码模型 Codestral，22B 参数支持 80+ 语言
Mistral 发布首个代码模型 Codestral，22B 参数、32k 上下文，支持 80+ 编程语言，可完成代码补全、写测试和 fill-in-the-middle。
推荐理由：Mistral 首个代码模型 Codestral 的规格、基准与接入方式，适合关注代码补全选型的开发者参考。
Mistral News精选AI 评分6262 Mistral 推出非生产许可 MNPL，Codestral 首个适用
Mistral AI 发布非生产许可 MNPL，允许开发者将模型用于非商业用途并支持研究工作，商业使用则需另行安排。新发布的 Codestral 是首个采用该许可的模型，Mistral 表示仍会继续以 Apache 2.0 发布部分模型和代码，逐步形成 Apache 2.0 与 MNPL 两条产品线。
推荐理由：Mistral 推出非生产许可 MNPL，明确商业使用需另议，开发者可据此判断自家产品能否继续免费调用其模型。
Hugging Face BlogAI 评分5050 Hugging Face 在 Inference Endpoints 上线 AWS Inferentia2 实例
Hugging Face 为 Inference Endpoints 新增 AWS Inferentia2 实例，用户可在 Amazon Web Services 实例配置中选择 Inf2 选项，几步点击即可部署模型。
OpenAI NewsAI 评分2222 ChatGPT 数据分析功能改进：支持表格图表交互与 Google Drive、Microsoft OneDrive 直接添加文件
ChatGPT 的数据分析功能获得改进，用户现在可以与表格和图表进行交互，并直接从 Google Drive 和 Microsoft OneDrive 添加文件。
OpenAI News精选AI 评分6262 OpenAI 发布新旗舰模型 GPT-4o，可实时跨音频、视觉和文本推理
OpenAI 宣布推出新旗舰模型 GPT-4 Omni（GPT-4o），可实时跨音频、视觉和文本进行推理。该模型被定位为 OpenAI 的新旗舰模型。
推荐理由：OpenAI 发布新旗舰模型 GPT-4o，可实时跨音频、视觉和文本推理，关注模型能力变化的读者可了解其定位。
OpenAI News精选AI 评分6262 OpenAI 发布 GPT-4o，并向 ChatGPT 免费用户开放更多工具
OpenAI 发布最新旗舰模型 GPT-4o，同时把更多能力开放给 ChatGPT 免费用户。官方称此次发布包含新旗舰模型上线，以及面向免费用户的功能扩展。
推荐理由：OpenAI 发布新旗舰模型 GPT-4o，并首次把更多能力开放给 ChatGPT 免费用户。
Vercel NewsAI 评分2222 Vercel 分享 7 个可立即加入应用的 AI 功能
Vercel 发文列出 7 个可立即加入应用的 AI 功能，包括语义搜索、自然聊天机器人、个性化推荐、即时本地化等。文中举例 Klarna 的 OpenAI 聊天机器人客户满意度与人工相当，解决问题快 80%，承担 700 名全职客服的工作量，带来 $40M 净收入。Vercel 提供原生 AI 支持及全托管的扩缩容、流式与缓存基础设施，按实际用量付费。
OpenAI NewsAI 评分2222 OpenAI 与 Stack Overflow 达成 API 合作
Stack Overflow 与 OpenAI 宣布达成 API 合作，将把 Stack Overflow 的技术知识平台与 OpenAI 的 LLM 模型能力结合，帮助开发者。
Hugging Face BlogAI 评分3838 Artificial Analysis 的 LLM 性能排行榜登陆 Hugging Face
Artificial Analysis 开发的 LLM 性能排行榜现已上线 Hugging Face，覆盖超过 100 个 serverless LLM API 端点，综合对比质量、价格与速度。
Vercel News精选AI 评分6060 Vercel 发布 AI SDK 3.1，ModelFusion 团队加入
Vercel 发布 AI SDK 3.1，并宣布 ModelFusion 团队加入。新版本包含 AI SDK Core、AI SDK UI 和 AI SDK RSC 三部分。
推荐理由：Vercel 官方发布 AI SDK 3.1，统一多家模型调用接口并新增 streamUI，可据此评估是否替换现有 LLM 集成方案。
OpenAI News精选AI 评分6060 OpenAI 宣布 GPT-4 API 正式可用，并公布旧版 Completions API 模型退役计划
OpenAI 宣布 GPT-4 API 正式可用，GPT-3.5 Turbo、DALL·E 和 Whisper API 也同步正式可用。OpenAI 同时公布旧版 Completions API 模型的弃用计划，这些模型将于 2024 年初退役。
推荐理由：OpenAI 宣布 GPT-4 API 正式可用，并给出旧版 Completions API 模型的退役时间表。
OpenAI News精选AI 评分6262 OpenAI 推出 ChatGPT 和 Whisper API
OpenAI 发布 ChatGPT 和 Whisper 的 API。
OpenAI NewsAI 评分2222 OpenAI 为 API 客户推出更多企业级功能
OpenAI 为 API 客户新增更多企业级功能，包括更多安全功能与控制项、Assistants API 的更新，以及帮助更好管理成本的工具，同时加强企业支持。
Replicate BlogAI 评分4242 用 Replicate API 运行 Snowflake Arctic 模型
Replicate 上线 Snowflake 开源语言模型 Arctic，可通过一行代码在云端调用，模型标识为 snowflake/snowflake-arctic-instruct。
Hugging Face Blog精选AI 评分6262 Meta 发布 Llama 3 开源模型，Hugging Face 全面接入
Meta 发布 Llama 3 开源模型，包含 8B 和 70B 两个尺寸，各有 base 和 instruct 版本，另有基于 Llama 3 8B 微调的 Llama Guard 2，共 5 个开放模型上线 Hugging Face。
推荐理由：Meta 发布 Llama 3 并同步接入 Hugging Face 生态，读者可了解模型规格、许可变化与部署方式。
Replicate Blog精选AI 评分6262 Replicate 发布用 API 运行 Meta Llama 3 的教程
Replicate 发布教程，介绍如何用一行代码在云端运行 Meta 的 Llama 3，并给出 JavaScript、Python 和 cURL 三种调用方式。
推荐理由：Replicate 官方给出用 JavaScript、Python 和 cURL 调用 Llama 3 的步骤，并说明四个模型变体的取舍。
Mistral News精选AI 评分6868 Mistral 发布 Mixtral 8x22B 开放模型，Apache 2.0 许可
Mistral 发布最新开放模型 Mixtral 8x22B，采用稀疏 Mixture-of-Experts（SMoE）架构，141B 总参数中仅 39B 激活，以 Apache 2.0 许可开放，可无限制使用。
推荐理由：Mistral 发布 Mixtral 8x22B 开放模型，给出 141B 总参数中仅 39B 激活的稀疏架构与 Apache 2.0 许可，可据此评估自托管与微调成本。
Supabase Blog精选AI 评分6262 Supabase Edge Functions 内置 AI 推理 API，支持 gte-small 生成 embedding
Supabase 在 Edge Functions 的 Edge Runtime 中内置了 Supabase.ai API，用几行代码即可运行 AI 推理，目前支持 gte-small 生成 embedding，并实验性支持 Llama 和 Mistral 等开源 LLM。
推荐理由：Supabase 在 Edge Functions 内置 AI 推理 API，开发者可几行代码生成 embedding，并了解与 OpenAI 的成本对比。
Hugging Face BlogAI 评分2222 用 Gradio 的 reload 模式快速构建 AI 应用
Gradio 推出 reload 模式，用 `gradio app.py` 替代 `python app.py` 启动应用，即可在不重启服务器的情况下拉取源码最新改动。
Vercel NewsAI 评分2222 用 Vercel AI SDK 组合式构建电商 AI 功能实战
Vercel 展示了用 v0、Mistral AI（经 Perplexity）和 Vercel AI SDK 在几小时内复刻亚马逊 AI 评论摘要功能的案例。
Ollama BlogAI 评分4242 Ollama 支持 Embedding 模型，可构建 RAG 应用
Ollama 现已支持 embedding 模型，可生成向量嵌入并构建 RAG 应用，提供 mxbai-embed-large（334M）、nomic-embed-text（137M）、all-minilm（23M）三款模型，并集成 LangChain 与 LlamaIndex。
OpenAI NewsAI 评分3535 OpenAI 改进微调 API 并扩展自定义模型计划
OpenAI 为微调 API 增加新功能，让开发者对微调拥有更多控制权，同时公布构建自定义模型的新方式。官方称此举旨在扩展其自定义模型计划。
Replit BlogAI 评分2222 Replit 如何为代码修复构建 LLM
Replit 正在训练原生代码修复 LLM，用 LSP 诊断数据生成修复 diff。其数据来自用户会话中的 OT 编辑历史和 LSP 诊断，Python 项目中仅 10% 的 LSP 诊断消息自带修复方案，因此用 LLM 合成并验证 diff，目标数据集 10 万条，管线基于 Databricks 上的 PySpark，可再扩展一个数量级。
Hugging Face Blog精选AI 评分6262 Hugging Face 在 Hub 上线 Deploy on Cloudflare Workers AI 集成
Hugging Face 宣布在 Hub 上线 Deploy on Cloudflare Workers AI 集成，开发者可在模型页的 Deploy 菜单选择 Cloudflare Workers AI，通过 Workers AI REST API 或 Cloudflare AI SDK 调用 Llama、Gemma、Mistral 等开源模型，按请求计费、无需自管 GPU。
推荐理由：Hugging Face 与 Cloudflare 的这次集成已下线，但文中按请求计费的推理成本示例仍可作参考。
OpenAI NewsAI 评分2222 OpenAI 分享 Voice Engine 小规模预览的经验：合成语音的挑战与机会
OpenAI 分享了 Voice Engine 小规模预览的经验，这是一款用于创建自定义语音的模型。
OpenAI NewsAI 评分1515 OpenAI 用 GPT-4 让教育数据更易获取
OpenAI 分享了 Zelma 使用 GPT-4 让教育数据更易获取的案例。