Hacker News Show HN· leochong·· 11 天前AI 评分50
Reflex：面向冷启动的 GGUF 推理引擎，可运行 Aleph Alpha 的 Kolibri-1
Show HN: Reflex – a cold-start GGUF engine that runs Aleph Alpha's Kolibri-1
AI 导读
作者发布开源项目 Reflex，一个用 Rust 和 CUDA 编写的 GGUF 原生推理引擎，专注冷启动而非持续吞吐，所有 CUDA kernel 由 nvcc 提前编译并打包进二进制，进程启动时不做 JIT。
来源：Hacker News Show HN · github.com