跳到正文
热点事件持续更新

单卡训练160M代码模型与优化复盘

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

2026年10月24日,一位开发者在Hacker News的Show HN板块分享:他在单张GPU上从零训练了一个160M参数的代码模型,在HumanEval上取得22.56%的得分。他复盘称,首个1.5B模型只训练到3× Chinchilla,严重欠训练;在相同预算下,改训小10倍的模型反而更实用。他还指出,实际MFU远低于显卡标称,训练TPS可能比初始估算低30–40%,最终他从AdamW换用MuonH优化器。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月24日
  1. Hacker News Show HN
    Show HN:我在单张 GPU 上训练 160M 代码模型,HumanEval 得分 22.56%

    一位开发者在单张 GPU 上从零训练 160M 参数代码模型,在 HumanEval 上取得 22.56% 得分。他复盘称首个 1.5B 模型只训练到 3× Chinchilla 而严重欠训练,同预算下改训小 10 倍的模型反而更实用。实际 MFU 远低于显卡标称,训练 TPS 可能比初始估算低 30–40%,最终他从 AdamW 换用 MuonH 优化器。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。