Hacker News Show HN· sheephess44·· 3 小时前AI 评分58
Show HN:117 个模型在真实硬件上实测显存,帮你看 LLM 能不能装进自己的 GPU
Show HN: What LLM fits my GPU? – VRAM measured on real hardware for 117 models
AI 导读
一个名为 quantized.uk 的索引站收录了 117 个 LLM 在 RTX 4090、3090、M3 Max 等真实硬件上的实测显存占用与 tok/s,并标注所用推理栈(llama.cpp、ExLlamaV2、vLLM、Ollama)。
来源:Hacker News Show HN · quantized.uk