Hugging Face 用 StarCoder 微调出编程助手 StarChat
Hugging Face 发布教程,介绍如何把 16B 参数的 StarCoder 微调成对话式编程助手 StarChat,并公开代码、数据集与模型。流程包括用 ChatML 特殊 token 组织对话、屏蔽用户轮次的标签,再用 DeepSpeed ZeRO-3 在 8 张 A100 80GB 上训练约 45 分钟。
推荐理由:Hugging Face 公开了把 StarCoder 微调成对话式编程助手的完整流程,含数据格式与训练配置。