Hugging Face Blog·· 2023-05-24精选AI 评分78
Hugging Face 用 bitsandbytes 与 QLoRA 让 LLM 支持 4bit 量化
Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA
AI 导读
Hugging Face 与 bitsandbytes 合作，在 transformers 中支持以 4bit 精度加载模型，覆盖文本、视觉和多模态等大多数 HF 模型，并可在 4bit 模型上训练适配器。
推荐理由
Hugging Face 与 bitsandbytes 合作把 4bit 量化接入 transformers，并给出 QLoRA 微调与显存实测数据。
来源：Hugging Face Blog · huggingface.co