跳到正文
原文
Hacker News Ask HN· gionag·· 3 小时前AI 评分59

contextWatcher:用 Rust 写的 LLM 上下文垃圾回收器开源

A garbage collector for LLM context windows, written in Rust

AI 导读

开发者 gionag 开源了 contextWatcher(cw),一个在本地 CPU 上运行、耗时不到 2ms 的 Rust 代理,用去重、裁剪工具输出和固定尾部规则替代 /compact 式压缩,以缓解上下文膨胀。

来源:Hacker News Ask HN · news.ycombinator.com