跳到正文
原文
Hacker News 首页·· 17 天前AI 评分57

Janus:用 Go 单文件通过 Vulkan 在 AMD/Intel/NVIDIA 上运行 GGUF 模型

Show HN: Janus – Go binary that runs GGUF models via Vulkan on AMD/Intel/Nvidia

AI 导读

Janus 是一个 Go 单文件本地 LLM 服务,通过 Vulkan 在 AMD、Intel、NVIDIA 显卡或 CPU 上运行 .gguf 模型,并暴露 OpenAI 兼容 API,无需 Python、Docker 或 Ollama。它支持热切换模型、流式输出和思考模型,可接入 Cursor、Cline 等 OpenAI 客户端,默认监听 127.0.0.1:8990,采用 MIT 许可。

来源:Hacker News 首页 · github.com