Hacker News Show HN· xtcntr·· 12 天前AI 评分22
Show HN:一个微型 GPT 的每个数字,从一次前向传播到一步 RLHF
Show HN: Every number in a tiny GPT, from one forward pass to one step of RLHF
AI 导读
一位开发者在学习推理语言模型课程时,用 Opus 5.5 做了一个交互式演示,逐步展示一个玩具版 GPT-2 类模型的每个数字。所有矩阵都能放进屏幕,每个数值都在浏览器中实时计算,悬停任意单元格即可看到该步的精确数学过程。内容覆盖推理(从分词到采样的单个 token 生成)、预训练的一个训练步,以及后训练中 RLHF 的一次 PPO 迭代。
来源:Hacker News Show HN · llm.manogya.dev