Hugging Face Infinity 在 Intel Ice Lake CPU 上的毫秒级延迟案例研究

Hugging Face 公布 Infinity 在 Amazon EC2 C6i（Intel Ice Lake）上的推理基准：用 Infinity Multiverse 优化 DistilBERT 做序列分类，端到端延迟与吞吐相比 Ice Lake 上的原生 Transformers 最高提升 800%，相比 Cascade Lake 实例最高提升 34%。