跳到正文

主题:开源项目

今日 7 条
8月8日周二
  1. Hugging Face Blog62

    Hugging Face 发布 swift-transformers,在 Apple 设备上运行本地 LLM

    Hugging Face 发布 swift-transformers,一个用 Swift 实现 transformers 风格 API 的开发中 Swift 包,聚焦文本生成,并同时放出 swift-chat 示例应用、更新版 exporters 与 transformers-to-coreml 转换工具,以及 Llama 2 7B、Falcon 7B 等已转换模型。

    推荐理由:Hugging Face 发布 Swift 端 transformers 风格库与转换工具,Swift 开发者可据此在 Apple 设备上跑本地 LLM。

7月20日周四
7月18日周二
6月15日周四
  1. Hugging Face Blog62

    Hugging Face 与 Apple 用 6-bit 量化让 Stable Diffusion 在 iPhone 上跑得更快

    Hugging Face 介绍了 Apple Core ML 的新压缩与优化能力,通过 6-bit palettization 把 Stable Diffusion 权重从 16-bit 浮点压到每参数 6 bit,在 iPhone 13 上的推理速度比去年 12 月更快、内存占用更低。

    推荐理由:Hugging Face 与 Apple 给出 6-bit 调色板量化在 iPhone 上跑 Stable Diffusion 的实测与转换命令,可据此评估端侧部署成本。

5月24日周三
5月15日周一
5月9日周二
  1. Hugging Face Blog58

    Hugging Face 用 StarCoder 微调出编程助手 StarChat

    Hugging Face 发布教程,介绍如何把 16B 参数的 StarCoder 微调成对话式编程助手 StarChat,并公开代码、数据集与模型。流程包括用 ChatML 特殊 token 组织对话、屏蔽用户轮次的标签,再用 DeepSpeed ZeRO-3 在 8 张 A100 80GB 上训练约 45 分钟。

    推荐理由:Hugging Face 公开了把 StarCoder 微调成对话式编程助手的完整流程,含数据格式与训练配置。

5月4日周四
  1. Hugging Face Blog62

    BigCode 发布 15B 参数代码模型 StarCoder

    BigCode 发布代码大模型 StarCoder 与 StarCoderBase,基于 GitHub 上 80 多种编程语言的宽松许可数据训练,约 15B 参数、1 万亿 token,上下文长度超过 8,000 token。

    推荐理由:BigCode 公开 StarCoder 的模型权重、训练数据与评测结果,可对照其与 Codex 等模型的基准差距。

4月19日周三
  1. Replicate Blog38

    Replicate 推出 AutoCog:用 GPT-4 自动生成 Cog 配置

    Replicate 发布 AutoCog,用 GPT-4 为机器学习仓库自动生成 cog.yaml 和 predict.py,并运行 cog predict 命令,失败时自动诊断修复,最多重试五次。AutoCog 可从 PyPI 安装,支持 --continue 参数在人工介入后继续。由于 GPT-4 仅接受 8096 tokens,AutoCog 会按重要性排序并截断仓库文件。

3月17日周五