Hugging Face Blog·· 2023-05-09精选AI 评分58
Hugging Face 用 StarCoder 微调出编程助手 StarChat
Creating a Coding Assistant with StarCoder
AI 导读
Hugging Face 发布教程,介绍如何把 16B 参数的 StarCoder 微调成对话式编程助手 StarChat,并公开代码、数据集与模型。流程包括用 ChatML 特殊 token 组织对话、屏蔽用户轮次的标签,再用 DeepSpeed ZeRO-3 在 8 张 A100 80GB 上训练约 45 分钟。
推荐理由
Hugging Face 公开了把 StarCoder 微调成对话式编程助手的完整流程,含数据格式与训练配置。
来源:Hugging Face Blog · huggingface.co