跳到正文
原文
Hacker News Ask HN· leafletsigh·· 3 小时前AI 评分22

Hacker News 讨论:用什么硬件跑本地 LLM?

Ask HN: What hardware are you using to run local LLMs?

AI 导读

Hacker News 上有人提问用什么硬件运行本地 LLM,一位用户称自己在 Minisforum 涨价前入手了一台,此前还买过 Framework 的变体但拿到的是坏件。该用户建议按可运行的模型规模估算配置,并提到近期测试中 GLM 和 Qwen 在本地场景表现不错,还可以尝试把多个设备池化来跑更多小模型。

来源:Hacker News Ask HN · news.ycombinator.com