Latent Space·· 3 小时前精选AI 评分78
DeepSeek 开源推理栈 DeepInfer，单集群日处理 155T tokens、每卡时收入 $38
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 开源了支撑 V4.1 Flash 的生产推理栈 DeepInfer，并披露单集群日处理 155T tokens、96% 输入缓存命中、每加速卡时 $38 的错峰收入。
推荐理由
原文把 DeepSeek 开源推理栈的生产数据、缓存机制和 vLLM 复现结果放在一起，便于判断这套效率能否迁移。
来源：Latent Space · latent.space