跳到正文
原文
Hacker News Ask HN· rsihi·· 3 天前AI 评分20

Ask HN:如何在普通电脑上实现前沿级本地 AI 能力

Ask HN: Frontier Capability on Average Computers

AI 导读

一位开发者提出构想:让用户下载多个小型开源权重模型,由一个路由模型充当决策者,根据任务类型(如编程)分派不同模型执行,各模型的记忆与工作过程保存为 .MD 文件,从而在完全本地环境下完成实际工作。他提到已有将 LLM 权重分散存储在 SSD、每次仅在 GPU/SoC 上加载单个专家的做法,并希望了解其他人的思路。

来源:Hacker News Ask HN · news.ycombinator.com