OpenAI 在 API 中推出 Structured Outputs
OpenAI 在 API 中推出 Structured Outputs,模型输出现在可以可靠地遵循开发者提供的 JSON Schema。该功能面向需要在 API 调用中获得稳定结构化数据的开发者。
推荐理由:OpenAI 在 API 中上线 Structured Outputs,模型输出可按开发者提供的 JSON Schema 返回,便于构建稳定的结构化数据流程。
登录注册、会话与权限、企业 SSO:自建还是买现成,成本和风险分别落在哪。
OpenAI 在 API 中推出 Structured Outputs,模型输出现在可以可靠地遵循开发者提供的 JSON Schema。该功能面向需要在 API 调用中获得稳定结构化数据的开发者。
推荐理由:OpenAI 在 API 中上线 Structured Outputs,模型输出可按开发者提供的 JSON Schema 返回,便于构建稳定的结构化数据流程。
Replicate 上线了 Black Forest Labs 开发的开源图像生成模型 FLUX.1,可用一行代码在云端调用。FLUX.1 分三个版本:FLUX.1 [pro] 每张 $0.055,FLUX.1 [dev] 每张 $0.030,FLUX.1 [schnell] 每张 0.003 美元,其中 [schnell] 采用 Apache 2.0 许可。
推荐理由:Replicate 官方上线 FLUX.1 并给出三个版本的单张价格,读者可据此比较接入成本。
Mistral AI 发布 Mistral Large 2,模型规模 123B 参数,支持 128k 上下文窗口和数十种语言,可在单节点上实现大吞吐推理。
推荐理由:Mistral Large 2 的 128k 上下文、123B 参数与单节点推理定位,是评估自部署成本与多语言能力的直接参考。
Replicate 宣布可通过其 API 运行 Meta 的 Llama 3.1 405B 模型,该模型有 4050 亿参数、8000 token 上下文窗口,官方称其在多项基准上接近或达到 GPT-4 水平。Replicate 提供了 JavaScript、Python 和 cURL 三种调用方式,并给出 Next.js 示例聊天应用,可部署在 Vercel 上。
推荐理由:Replicate 官方给出 Llama 3.1 405B 的 API 调用方式,含 JavaScript、Python 与 cURL 三种示例。
OpenAI 发布 GPT-4o mini,定位为更具成本效率的智能模型。材料仅提供标题,未包含正文内容,具体价格与能力细节暂无法确认。
Hugging Face 为 TGI 推出 Multi-LoRA serving,只需部署一次基础模型,就能按请求动态切换多个 LoRA 适配器,官方示例用 mistralai/Mistral-7B-v0.1 同时服务 predibase/customer_support 和 predibase/magicoder。
推荐理由:Hugging Face 官方介绍 TGI 的 Multi-LoRA 部署方式,给出成本与用量对比,适合评估多模型推理方案。
Mistral 发布 Codestral Mamba,一个基于 Mamba 架构的代码模型,采用 Apache 2.0 许可,可免费使用、修改和分发。该模型具备线性时间推理能力,官方测试了最高 256k tokens 的上下文检索,并称其表现与 SOTA Transformer 模型相当。
推荐理由:Mistral 发布 Codestral Mamba,给出线性时间推理、256k 上下文测试和 Apache 2.0 许可,可对照其与 Transformer 代码模型的差异。
Paddle 更新平台退款审批机制:沙盒账户的退款每十分钟自动从 pending_approval 变为 approved,方便测试审批流程;正式账户在满足账户已通过 Paddle 审核且处于活跃状态、退款金额不超过 400 USD 或等值货币、退款金额低于账户余额、原支付方式非银行或电汇转账这四项条件时自动批准。
推荐理由:Paddle 调整退款审批规则,沙盒每十分钟自动通过,正式账户满足四项条件即自动批准。
Vercel 发布变更说明,OpenAI 将于 7 月 9 日进一步封锁来自不支持国家和地区的 API 流量,其中将包括 Vercel 香港区域(hkg1)的 Functions。Vercel 表示多数 Functions 不在该区域执行,但使用 Edge Runtime 的 Functions 可能需要调整执行区域,用户可通过指定允许区域并排除香港来避免影响,更改区域需要重新部署应用。
推荐理由:Vercel 说明 OpenAI 将于 7 月 9 日封锁香港区域 API 流量,并给出排除该区域的配置与重新部署要求。
Paddle 在平台余额币种中新增澳大利亚元(AUD)和加拿大元(CAD),此前仅支持美元、欧元和英镑。AUD 和 CAD 现在也可作为 adjustments 中原始拒付费用的取值。
推荐理由:Paddle 新增 AUD 和 CAD 余额币种,用澳元或加元收款的开发者可减少结算时的汇兑费用。
Mistral AI 在 la Plateforme 上线模型定制功能,提供三种微调入口:开源微调 SDK mistral-finetune、la Plateforme 上的无服务器微调服务,以及面向特定客户的定制训练服务。
推荐理由:Mistral 官方发布微调能力,给出开源 SDK、托管服务与定制训练三条路径,便于开发者按成本与数据条件选择。
Mistral 发布首个代码模型 Codestral,22B 参数、32k 上下文,支持 80+ 编程语言,可完成代码补全、写测试和 fill-in-the-middle。
推荐理由:Mistral 首个代码模型 Codestral 的规格、基准与接入方式,适合关注代码补全选型的开发者参考。
Mistral AI 发布非生产许可 MNPL,允许开发者将模型用于非商业用途并支持研究工作,商业使用则需另行安排。新发布的 Codestral 是首个采用该许可的模型,Mistral 表示仍会继续以 Apache 2.0 发布部分模型和代码,逐步形成 Apache 2.0 与 MNPL 两条产品线。
推荐理由:Mistral 推出非生产许可 MNPL,明确商业使用需另议,开发者可据此判断自家产品能否继续免费调用其模型。
OpenAI 宣布推出新旗舰模型 GPT-4 Omni(GPT-4o),可实时跨音频、视觉和文本进行推理。该模型被定位为 OpenAI 的新旗舰模型。
推荐理由:OpenAI 发布新旗舰模型 GPT-4o,可实时跨音频、视觉和文本推理,关注模型能力变化的读者可了解其定位。
OpenAI 发布最新旗舰模型 GPT-4o,同时把更多能力开放给 ChatGPT 免费用户。官方称此次发布包含新旗舰模型上线,以及面向免费用户的功能扩展。
推荐理由:OpenAI 发布新旗舰模型 GPT-4o,并首次把更多能力开放给 ChatGPT 免费用户。
Vercel 发布 AI SDK 3.1,并宣布 ModelFusion 团队加入。新版本包含 AI SDK Core、AI SDK UI 和 AI SDK RSC 三部分。
推荐理由:Vercel 官方发布 AI SDK 3.1,统一多家模型调用接口并新增 streamUI,可据此评估是否替换现有 LLM 集成方案。
OpenAI 宣布 GPT-4 API 正式可用,GPT-3.5 Turbo、DALL·E 和 Whisper API 也同步正式可用。OpenAI 同时公布旧版 Completions API 模型的弃用计划,这些模型将于 2024 年初退役。
推荐理由:OpenAI 宣布 GPT-4 API 正式可用,并给出旧版 Completions API 模型的退役时间表。
OpenAI 发布 ChatGPT 和 Whisper 的 API。
Supabase Storage 现在成为 S3 兼容的存储服务,该功能以公开 alpha 形式上线,同时断点续传从 Beta 转为正式可用。用户可用 access_key 与 secret_key 或带 RLS 的用户级凭证鉴权,接入 AWS CLI、rclone、Cyberduck 等 S3 兼容工具,并支持通过 S3 协议进行分片并行上传。
推荐理由:Supabase Storage 官方说明 S3 协议支持与两种鉴权方式,可据此判断现有 S3 工具链能否直接接入。
Meta 发布 Llama 3 开源模型,包含 8B 和 70B 两个尺寸,各有 base 和 instruct 版本,另有基于 Llama 3 8B 微调的 Llama Guard 2,共 5 个开放模型上线 Hugging Face。
推荐理由:Meta 发布 Llama 3 并同步接入 Hugging Face 生态,读者可了解模型规格、许可变化与部署方式。