Hugging Face：1B 次分类推理的成本与延迟优化实测

Hugging Face 博客实测了每天 10 亿次分类与 embedding 推理的成本：在 nvidia-L4（$0.8/hr）上，分类任务 10 亿次输入花费 $253.82，embedding 为 $409.44，视觉 embedding 高达 $44,496.51。