跳到正文
原文
Hugging Face Blog·· 2023-12-05AI 评分34

Hugging Face 如何让 LoRA 推理提速 300%:告别冷启动

Goodbye cold boot - how we made LoRA Inference 300% faster

AI 导读

Hugging Face 通过在同一基础模型上动态换载 LoRA 适配器,把 LoRA 推理的冷启动时间从 25s 降到 3s,用户请求响应时间从 35s 降到 13s。Hub 上约 2500 个公开 LoRA 中约 92% 基于 Stable Diffusion XL Base 1.0,此前每个都需单独部署 GPU,如今仅用不到 5 张 A10G 即可服务数百个不同 LoRA。

来源:Hugging Face Blog · huggingface.co