Hacker News Show HN· jakcwi·· 4 小时前AI 评分34
Show HN:我在单张 GPU 上训练 160M 代码模型,HumanEval 得分 22.56%
Show HN: I trained a 160M code model on one GPU and got 22.56% on HumanEval
AI 导读
一位开发者在单张 GPU 上从零训练 160M 参数代码模型,在 HumanEval 上取得 22.56% 得分。他复盘称首个 1.5B 模型只训练到 3× Chinchilla 而严重欠训练,同预算下改训小 10 倍的模型反而更实用。实际 MFU 远低于显卡标称,训练 TPS 可能比初始估算低 30–40%,最终他从 AdamW 换用 MuonH 优化器。
来源:Hacker News Show HN · jakubcwirlej.com