跳到正文
原文
HackerNoon· Lê Đức Minh·· 5 小时前AI 评分34

我用 OpenAI 的 Tokenizer 做了个 Python 压缩器 TokPress,结果如何

I Built a Python Compressor Using OpenAI's Tokenizer. Here's What Happened

AI 导读

独立开发者用 OpenAI 的 o200k_base 词表做了一个纯 Python 无损压缩器 TokPress:先分词,再对 token id 跑 LZ77,最后用 rANS 熵编码。150 条 JSON 日志合并成一个流压缩后只剩 0.0875×,但逐条单独压缩反而会变大;训练字典后压缩比可达 0.2565。它在散文上胜过 gzip,但输给 zstd 的训练字典模式。

来源:HackerNoon · hackernoon.com