Vercel 发布 AI SDK 4.0,新增 PDF 支持与 Anthropic computer use
Vercel 发布 AI SDK 4.0,为 Anthropic、Google Generative AI 和 Google Vertex AI 增加 PDF 支持,并加入 Anthropic Claude 的 computer use 支持。
推荐理由:Vercel 官方发布 AI SDK 4.0,列出 PDF、computer use、续写等新能力与迁移方式,可据此判断升级成本。
Vercel 发布 AI SDK 4.0,为 Anthropic、Google Generative AI 和 Google Vertex AI 增加 PDF 支持,并加入 Anthropic Claude 的 computer use 支持。
推荐理由:Vercel 官方发布 AI SDK 4.0,列出 PDF、computer use、续写等新能力与迁移方式,可据此判断升级成本。
Hugging Face 发布 HUGS(Hugging Face Generative AI Services),一套零配置的优化推理微服务,基于 Text Generation Inference 和 Transformers,可在自有基础设施上部署开源模型。
推荐理由:Hugging Face 官方发布零配置推理微服务 HUGS,给出定价与支持模型清单,可对照自建推理方案的成本与迁移路径。
Livebook 结合 FLAME 与 Nx 栈,可从笔记本直接启动运行在 Fly.io 云上 Fly Machine 的运行时,并调度 GPU 机器做 AI 计算。演示中 FLAME 池把视频抽帧交给 GPU 上的 Llama 生成描述、再由 Mistral 汇总,并支持 64 台 L40s GPU 机器做 BERT 超参调优。
Replit 存储了超过 3 亿个软件仓库,规模与 GitHub、Bitbucket 同级,并借助 Operational Transformation(OT)协议和执行日志记录每个项目的时间线。
Mistral AI 发布 Mistral Large 2,模型规模 123B 参数,支持 128k 上下文窗口和数十种语言,可在单节点上实现大吞吐推理。
推荐理由:Mistral Large 2 的 128k 上下文、123B 参数与单节点推理定位,是评估自部署成本与多语言能力的直接参考。
Hugging Face 宣布 Google Cloud TPU v5e 已可在 Inference Endpoints 和 Spaces 上使用,用户选择 Google Cloud Platform 和 us-west1 区域后即可挑选 TPU 配置。
Vercel 发布 AI SDK 3.2,围绕 Agent、Provider、Embeddings 和开发体验四方面扩展能力。
ChatGPT 的数据分析功能获得改进,用户现在可以与表格和图表进行交互,并直接从 Google Drive 和 Microsoft OneDrive 添加文件。
Vercel 发布 AI SDK 3.1,并宣布 ModelFusion 团队加入。新版本包含 AI SDK Core、AI SDK UI 和 AI SDK RSC 三部分。
推荐理由:Vercel 官方发布 AI SDK 3.1,统一多家模型调用接口并新增 streamUI,可据此评估是否替换现有 LLM 集成方案。
Hugging Face 博客介绍社区轻量库 Unsloth,与 transformers、PEFT、TRL 完全兼容,通过将 PyTorch 模块改写为 Triton kernel 实现微调加速,官方称相比标准 QLoRA 精度损失为 0%。
推荐理由:原文给出 Unsloth 与 TRL 的集成方式和 59 次基准测试数据,可据此判断是否替换现有微调流程。
一位从未写过代码的 Replit 员工用 AI 做出了自己的第一个 Slack Bot,通过 Google LLM 提供每日频道摘要。该 Bot 模板可直接 fork,也可从 100 Days of Code 入手,全程无需任何环境配置。
Replit CEO Amjad Masad 发布 Replit AI Manifesto,宣布前 Google Labs 应用研究负责人 Michele Catasta 加入担任 VP of AI,并阐述打造 ADI(Artificial Developer Intelligence)的愿景。
Hugging Face 发布教程,介绍如何把 16B 参数的 StarCoder 微调成对话式编程助手 StarChat,并公开代码、数据集与模型。流程包括用 ChatML 特殊 token 组织对话、屏蔽用户轮次的标签,再用 DeepSpeed ZeRO-3 在 8 张 A100 80GB 上训练约 45 分钟。
推荐理由:Hugging Face 公开了把 StarCoder 微调成对话式编程助手的完整流程,含数据格式与训练配置。
Replit 与 Google Cloud 达成合作,Replit 开发者将通过 Ghostwriter 获得 Google Cloud 基础设施、服务和基础模型,Google Cloud 与 Workspace 开发者则可用上 Replit 的协作代码编辑平台。
社区成员 Maxence Dominici 分享了在 Google Cloud 上部署 transformers 情感分析流水线的过程,目标是做一个自动判断 Discord 客户评论正负面的微服务,预计每月不超过 2,000 次请求。
OpenAI 的 GPT-3 为 Replit 撰写了一篇客座博客,称基于 repl 的可分享计算会把编程从私有代码转向公开网络,让代码像网页一样可链接、可协作。文章认为这将终结 Apple App Store 和 Google Play 的围墙花园,使应用商店变得无关紧要,并让 DNS 与网站托管等互联网架构过时。