跳到正文
原文
Hugging Face Blog·· 2023-05-09精选AI 评分58

Hugging Face 用 StarCoder 微调出编程助手 StarChat

Creating a Coding Assistant with StarCoder

AI 导读

Hugging Face 发布教程,介绍如何把 16B 参数的 StarCoder 微调成对话式编程助手 StarChat,并公开代码、数据集与模型。流程包括用 ChatML 特殊 token 组织对话、屏蔽用户轮次的标签,再用 DeepSpeed ZeRO-3 在 8 张 A100 80GB 上训练约 45 分钟。

推荐理由

Hugging Face 公开了把 StarCoder 微调成对话式编程助手的完整流程,含数据格式与训练配置。

来源:Hugging Face Blog · huggingface.co