跳到正文
原文
Hugging Face Blog·· 2 小时前精选AI 评分58

Dharma-AI 如何特化 SLM 词表,把推理成本降低 77%

How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications

AI 导读

Dharma-AI 在 Hugging Face 博客中介绍 VocabX 方法:在不更换基座模型、数据和训练配方的前提下,围绕每个 token 的推理成本而非出现频率重建词表,使基于 Qwen3-4B 的葡萄牙语作文批改器实测推理成本下降 77.0%,平均回复从 350 个 token 降到 101 个 token。

推荐理由

原文用生产环境作文批改器实测,说明词表特化如何在不换基座模型的前提下降低推理成本。

来源:Hugging Face Blog · huggingface.co