Hacker News Ask HN· malikoyv·· 4 小时前AI 评分15
Hacker News 讨论：推理引擎与 KV offload 引擎该选 vLLM、LMCache 还是 Mooncake
Ask HN: What inference engine and KV offload engine do you use and why?
AI 导读
一位正在做推理相关开发的用户在 Hacker News 发帖，询问实际做推理的团队用哪种推理引擎和 KV offload 引擎，以及为什么这样选。他点名对比 vLLM、LMCache 与 Mooncake，并追问是否在 vLLM 原生方案之外额外加 Mooncake。
来源：Hacker News Ask HN · news.ycombinator.com