跳到正文
原文
Hacker News Show HN· w512·· 13 天前AI 评分60

GridCore:让多个本地 LLM 共享一块 GPU 的调度器

Show HN: GridCore – a scheduler that lets several local LLMs share one GPU

AI 导读

作者发布 GridCore,一个用 Go 编写、位于应用与 GPU 之间的调度器,通过 OpenAI API 接收请求,按 interactive、background、batch 三类优先级决定谁先占用显卡,底层仍由 llama.cpp 的 llama-server 逐模型推理。

来源:Hacker News Show HN · blokhin.us