Hacker News Show HN· enki_runtime·· 5 天前AI 评分36
Show HN: Enki LLM 用纯 Rust 跑 Llama-3.2 1B，支持 GPU/CPU 实时迁移
Show HN: Enki LLM A pure rust (even kernels) with live GPU/CPU brain migration
AI 导读
Enki LLM 是一个约 2,000 行代码的纯 Rust Transformer 推理引擎，在 Nvidia Tesla T4 上以约 40 tok/s 运行 Llama-3.2 1B，无需 CUDA 依赖。
来源：Hacker News Show HN · github.com