跳到正文
原文
Hacker News Show HN· vforno·· 3 小时前AI 评分42

Show HN:Lumabri 用 C 语言把大模型推理分散到你的多台电脑和服务器上

Show HN: Lumabri – Run large AI models across your computers and servers.Pure C

AI 导读

Lumabri 是一个用 C 编写的私有推理服务,可把放不进单台电脑的模型按层拆分到多台机器上运行,worker 无需各自保存完整模型副本。它通过 TCP 47300 与 47301–47315、UDP 47300 做局域网发现与连接,每台机器可设定共享的 RAM 上限,最多同时保留 4 个模型分配、每个计划预留 1–8 个隔离会话槽。

来源:Hacker News Show HN · github.com