跳到正文
原文
Hacker News Show HN· utsav1033·· 3 小时前AI 评分34

Show HN:一个 2,946 字节的 C 语言 LLM 推理引擎,能跑 SmolLM2-135M

Show HN: A 3KB LLM inference engine in C

AI 导读

开发者发布 bytesized 项目:一个 2,946 字节的 C 程序,可直接读取原始 model.safetensors 和 tokenizer.json 运行 SmolLM2-135M,贪心解码结果与 Hugging Face transformers 逐 token 一致。

来源:Hacker News Show HN · github.com