Hugging Face 用 bitsandbytes 与 QLoRA 让 LLM 支持 4bit 量化
Hugging Face 与 bitsandbytes 合作,在 transformers 中支持以 4bit 精度加载模型,覆盖文本、视觉和多模态等大多数 HF 模型,并可在 4bit 模型上训练适配器。
推荐理由:Hugging Face 与 bitsandbytes 合作把 4bit 量化接入 transformers,并给出 QLoRA 微调与显存实测数据。
Hugging Face 与 bitsandbytes 合作,在 transformers 中支持以 4bit 精度加载模型,覆盖文本、视觉和多模态等大多数 HF 模型,并可在 4bit 模型上训练适配器。
推荐理由:Hugging Face 与 bitsandbytes 合作把 4bit 量化接入 transformers,并给出 QLoRA 微调与显存实测数据。
Bun 官方发布内置打包器 beta,可通过 bun build CLI 命令或新的 Bun.build() JavaScript API 使用,并支持插件系统、tree-shaking、source map 和内置压缩器。
Supabase 发布了一个用 TypeScript 编写、运行在 Supabase Edge Runtime 上的 ChatGPT 插件模板,可在 GitHub 上 fork。
推荐理由:Supabase 官方给出在 Edge Runtime 上搭建 ChatGPT 插件模板的完整步骤,含清单文件、OpenAPI 生成与本地调试。
Supabase 发布 2023 年 4 月 Beta 更新,开源 Logflare 以支持自托管日志基础设施,并推出可本地运行 Edge Functions 的 Edge Runtime。
Hugging Face 发布教程,介绍如何把 16B 参数的 StarCoder 微调成对话式编程助手 StarChat,并公开代码、数据集与模型。流程包括用 ChatML 特殊 token 组织对话、屏蔽用户轮次的标签,再用 DeepSpeed ZeRO-3 在 8 张 A100 80GB 上训练约 45 分钟。
推荐理由:Hugging Face 公开了把 StarCoder 微调成对话式编程助手的完整流程,含数据格式与训练配置。
BigCode 发布代码大模型 StarCoder 与 StarCoderBase,基于 GitHub 上 80 多种编程语言的宽松许可数据训练,约 15B 参数、1 万亿 token,上下文长度超过 8,000 token。
推荐理由:BigCode 公开 StarCoder 的模型权重、训练数据与评测结果,可对照其与 Codex 等模型的基准差距。
Replit 发文解释版权与授权许可如何塑造其产品:公开 Repl 采用 MIT 许可证,可 fork、修改和自由分发,底层 Linux 也源自 Unix。
Replicate 发布 AutoCog,用 GPT-4 为机器学习仓库自动生成 cog.yaml 和 predict.py,并运行 cog predict 命令,失败时自动诊断修复,最多重试五次。AutoCog 可从 PyPI 安装,支持 --continue 参数在人工介入后继续。由于 GPT-4 仅接受 8096 tokens,AutoCog 会按重要性排序并截断仓库文件。
Neon 发布指南,教你用其分支(branching)功能为每个预览环境创建独立数据库,部署平台以 Vercel 为例、CI/CD 用 GitHub Actions。文章同时指出,团队常用的 staging 环境并非理想方案。
Supabase 公布 Launch Week 7 社区亮点,与 AWS RDS 团队合作构建 pg_tle 扩展并集成进 Supabase,作为在 AWS RDS 上运行 Supabase 技术栈的过渡步骤。
Supabase 公开预览 database.dev,一个面向 PostgreSQL 的包管理器,目前包注册表为只读,已预置若干包供体验。dbdev 对 PostgreSQL 的作用类似 npm 之于 JavaScript,安装客户端后可像原生扩展一样加载包,例如 dbdev.install('olirice-asciiplot') 再 create extension。
推荐理由:Supabase 公开预览 PostgreSQL 包管理器 dbdev,读者可了解其命名空间与语义化版本等设计取舍。
Supabase 发布 Supabase Logs,面向自托管用户和 CLI 开发,可查看和查询任意 Supabase 服务的日志。其底层 Logflare 每天处理超过 10 亿条日志事件,已从 BSL 改为 Apache 2.0 许可,并移除了闭源依赖。
推荐理由:Supabase 把内部日志系统 Logflare 开源并支持自托管,读者可了解其查询引擎与缓存机制。
Railway 官方博客演示了如何用 GitHub Actions 配合 Railway CLI,在 Railway 项目上按计划运行 Django 任务。
Replicate 用《辛普森一家》第 1-12 季共 6.1 万行对话、110 万 token 微调 LLaMA,90 分钟就让它以剧中角色口吻输出文本。做法是取 Kaggle 的 simpsons_script_lines.csv,把同一场景的前几句台词与下一句说话人拼成训练数据,并改用 Alpaca 代码库的 prompt 让模型补全台词。
Supabase 2023 年 2 月更新把最流行的 GraphQL IDE/API 浏览器内置进 Dashboard,可直接查询 pg_graphql 生成的 GraphQL API。
Hugging Face 的 🧨Diffusers for Mac 原生应用发布 1.1 版,已上架 Mac App Store,文本生成图像速度最高提升至 2 倍。
Replicate 认为机器学习难用并非本质困难,而是缺少好的工具与抽象。它指出 Stable Diffusion 等开源模型引爆了开发者的二次创作,但实际构建时仍要面对混乱的 Python 脚本、CUDA 报错和畸形张量。Replicate 提供云端运行开源模型的库,几行代码即可调用,并支持将自己的模型大规模部署。
Altimeter Capital 通过 Replit Bounties 悬赏,选中 Niantic 软件工程师 Jesse Zhang 开发一个结合 LLM 与企业数据的聊天机器人,他在被选中后 24 小时内完成项目。
Supabase 2023 年 1 月更新上线 pgvector,可在 Postgres 中存储 OpenAI embeddings 并做向量相似度搜索,官方还基于它开源了文档搜索 Supabase Clippy 的 1 周 MVP。
Bun v0.5.5 新增对 node:http 的支持,包括 http.request()、http.ClientRequest、http.OutgoingMessage 和 http.Agent(部分功能暂为占位),使 stripe 等 npm 包可在 Bun 中运行。
邮件 API 工具 Resend 宣布加入 Y Combinator 的 Winter '23 批次,团队由 Bu Kinoshita 和 Jonni Lundy 组成。Resend 定位为面向开发者的下一代 Sendgrid,上线 4 周等待名单已达 4,949 人,其开源项目 react.email 在 GitHub 上获得 4,168 星。
Bun 发布 v0.4.0,新增 bunx 命令,用于从本地或远程 npm 包运行可执行文件,官方称对本地已安装包的启动速度约为 npx 的 100 倍。
Supabase 在社区日宣布新增 FlutterFlow、OneSignal、NextAuth 三项集成,其中 NextAuth 社区构建的 Supabase Adapter 支持 Row Level Security(RLS)策略。平台成为首个支持 PGroonga 多语言全文搜索的 Postgres 平台,该扩展已预装在所有新项目中;即日起所有新建项目默认使用 PostgreSQL 15。
Supabase 在 Launch Week 6 发布了用 Next.js 重写的新文档,并为 Storage 加入图像缩放、webhooks 和 Smart CDN。
Supabase 发布 Wrappers,一个用 Rust 编写的 Postgres Foreign Data Wrapper(FDW)框架,让 Postgres 通过 SQL 连接并查询外部系统。
推荐理由:Supabase 发布用 Rust 写的 Postgres FDW 框架,Alpha 阶段支持 Stripe 和 Firebase,可据此判断能否用 SQL 直连外部数据源。
Auth.js 开源团队随 SvelteKit 1.0 发布推出 SvelteKit Auth,将 NextAuth.js 的认证能力从 Next.js 扩展到其他前端框架。
Supabase 开源了实验性扩展 pg_crdt,为 Postgres 增加 CRDT 数据类型,content 列可直接存为 Yjs Doc,更新可交换且幂等。
推荐理由:Supabase 开源了实验性 CRDT 扩展 pg_crdt,并公开了它与 Realtime 两种离线同步路线的取舍。
Supabase 官方黑客松于 12 月 9 日 8am PT 开始,12 月 19 日 00:01am 截止,参赛者需在 10 天内用 Supabase 构建开源项目。
PostHog 发布 1.42.0,新增面积图可视化、URL breakdown 归一化(/home、/home?、/home/# 合并统计)和更便捷的 session recording 分享,并上线公开路线图,可投票、订阅更新并获取 beta 功能。
Shopify 的 React Native 列表库 FlashList 在开源发布后不到 24 小时获得 1,000 个 GitHub star。该项目由 4 人团队开发,用 FlatList 的 API 结合 RecyclerListView 的性能,解决 React Native 列表渲染卡顿、滚动空白和低 fps 问题。团队提前 6 个月规划发布,先做落地页再写博客讲项目故事。
Supabase 正式发布 supabase-js V2 和 flutter-supabase V1 两个最受欢迎 SDK 的新版本,并宣布 Launch Week 6 将于 12 月 12-16 日举行。
PostHog 盘点了自建开源数据栈的常用工具,包括自家产品分析平台 PostHog(MIT 许可,可自托管或云端部署,替代 Amplitude、Mixpanel)。
Supabase 发布 2022 年 9 月更新,连续三周 Kaizen 集中清理积压,关闭超 250 个 issue 和 50 个 PR。新 Auth UI 在 Product Hunt 发布,并与 Snaplet 联合开源 Postgres WASM。Dashboard 数据库权限调整将于 11 月自动生效,Edge Functions 免费计划脚本大小提升至 2 MB。
Supabase 与 Snaplet 开源了 postgres-wasm,一个能在浏览器内运行的 PostgreSQL 服务器,支持持久化状态到浏览器、从 pg_dump 恢复以及从远程数据库做逻辑复制。
Railway 通过 Nixpacks 原生支持 NX monorepo,但用户可改用 GitHub Actions 只为受影响的改动创建部署。
Supabase 发布 8 月 Beta 更新,CLI 升至 v1.0 并支持生成 TypeScript 类型,同时推出 Management API Beta,为 Zapier、Terraform、Pulumi 等集成铺路。
Supabase 公布 Launch Week 5 黑客松获奖名单,本届共收到 46 个项目,成为其迄今参与度最高的一届黑客松。冠军项目包括 Supabase Cache Helpers、Hop、Otentik Authenticator、That Hot Dog Game、Quid Faciam Hodie?
Supabase 在 Launch Week 5 的社区日集中展示社区贡献与生态更新,包括新的 PostgreSQL 扩展 pg_jsonschema 和 PostgREST v10 发布。本次虚拟 Hackathon 首次为最佳项目提供 $1500 GitHub 赞助,并新增 Launch Week 落地页与 Golden Ticket 机制,已生成超 3000 张虚拟门票。
Supabase 在 Launch Week 发布六项更新:推出用于在数据库内管理密钥与加密的 Postgres 扩展 Supabase Vault,基于 pgsodium,暂未在 Supabase 平台上线,意在收集用户反馈。
Supabase 宣布 CLI v1 结束测试正式发布,同时推出测试版 Management API(此前叫 Admin API),可用 REST 接口管理组织、项目和 Edge Functions。