跳到正文
原文
Hacker News Show HN· xtcntr·· 12 天前AI 评分22

Show HN:一个微型 GPT 的每个数字,从一次前向传播到一步 RLHF

Show HN: Every number in a tiny GPT, from one forward pass to one step of RLHF

AI 导读

一位开发者在学习推理语言模型课程时,用 Opus 5.5 做了一个交互式演示,逐步展示一个玩具版 GPT-2 类模型的每个数字。所有矩阵都能放进屏幕,每个数值都在浏览器中实时计算,悬停任意单元格即可看到该步的精确数学过程。内容覆盖推理(从分词到采样的单个 token 生成)、预训练的一个训练步,以及后训练中 RLHF 的一次 PPO 迭代。

来源:Hacker News Show HN · llm.manogya.dev