V2EX 最新主题· btpanel·· 3 小时前AI 评分36
LLMPod:开源 LLM 私有化部署平台招募 GPU 用户测试
[推广] 做了一个开源的 LLM 私有化部署平台 LLMPod,想找一些有 GPU 的朋友参与测试
AI 导读
开源私有化 LLM 推理服务平台 LLMPod 正在招募首批体验用户,开源自托管版本可免费使用。该平台整合 GPU 节点管理、vLLM / SGLang 推理引擎、模型可视化部署、OpenAI 兼容 API 发布、API Key 与配额管理、调用日志及路由 Failover 等能力,目前处于早期阶段,优先寻找有 GPU 服务器或多模型 API 管理需求的用户参与测试。
来源:V2EX 最新主题 · v2ex.com