Hugging Face Blog·· 2023-06-15精选AI 评分62
Hugging Face 与 Apple 用 6-bit 量化让 Stable Diffusion 在 iPhone 上跑得更快
Faster Stable Diffusion with Core ML on iPhone, iPad, and Mac
AI 导读
Hugging Face 介绍了 Apple Core ML 的新压缩与优化能力，通过 6-bit palettization 把 Stable Diffusion 权重从 16-bit 浮点压到每参数 6 bit，在 iPhone 13 上的推理速度比去年 12 月更快、内存占用更低。
推荐理由
Hugging Face 与 Apple 给出 6-bit 调色板量化在 iPhone 上跑 Stable Diffusion 的实测与转换命令，可据此评估端侧部署成本。
来源：Hugging Face Blog · huggingface.co