跳到正文
原文
Hacker News Show HN· Corbenic·· 9 天前AI 评分72

Corbenic 发布 Galahad:为 AI 提供 50M token 长期记忆层

Show HN: Try Free Long-Term Memory for AI 50M-Token Window

AI 导读

Corbenic AI 发布 Galahad,一个面向 AI 的记忆层,通过 pip install galahad-kv 安装,单 GPU 免费使用。它把模型的 KV cache 存到磁盘并复用,官方称 99.6% 的 token 从记忆中返回,在 vLLM 上快 14 倍、每题 0.59 秒,且字节级精确而非近似。

来源:Hacker News Show HN · github.com