跳到正文
原文
Hacker News Show HN· solohunter001·· 3 小时前AI 评分58

Strot 开源决策编译器:LLM 只在编译期跑一次,运行期本地决策

Show HN: Strot – Compile an LLM's intent once, run decisions locally

AI 导读

Strot 是一个 MIT 许可的开源决策编译器,用 LLM 在编译期把意图编译成冻结的 Python 产物,运行期由 144M 的本地决策模型在 CPU 上逐条给出带概率和置信度的 JSON 决策,约 60 ms、零边际成本、0 次 LLM 调用。

来源:Hacker News Show HN · github.com