Hacker News Show HN· giarec·· 4 小时前AI 评分58
spinf-serve 开源：单张 24GB GPU 上批量打分与决策推理引擎
Show HN: Spinf-serve – inference server for bulk scoring and decisions
AI 导读
spinf 开源了 Apache 2.0 的推理服务器 spinf-serve，一次读取内容即可回答多个问题，每个答案返回各选项的概率而非生成文本，并提供 OpenAI 兼容 API。
来源：Hacker News Show HN · github.com