Hacker News 首页·· 17 天前AI 评分57
Janus:用 Go 单文件通过 Vulkan 在 AMD/Intel/NVIDIA 上运行 GGUF 模型
Show HN: Janus – Go binary that runs GGUF models via Vulkan on AMD/Intel/Nvidia
AI 导读
Janus 是一个 Go 单文件本地 LLM 服务,通过 Vulkan 在 AMD、Intel、NVIDIA 显卡或 CPU 上运行 .gguf 模型,并暴露 OpenAI 兼容 API,无需 Python、Docker 或 Ollama。它支持热切换模型、流式输出和思考模型,可接入 Cursor、Cline 等 OpenAI 客户端,默认监听 127.0.0.1:8990,采用 MIT 许可。
来源:Hacker News 首页 · github.com