Hugging Face Blog·· 2023-12-05精选AI 评分62
Hugging Face 发布 Optimum-NVIDIA，一行代码加速 LLM 推理
Optimum-NVIDIA Unlocking blazingly fast LLM inference in just 1 line of code
AI 导读
Hugging Face 发布推理库 Optimum-NVIDIA，只需把 transformers 的 pipeline 导入改成 optimum.nvidia 一行代码，即可在 NVIDIA 平台获得最高 28 倍吞吐提升和 1,200 tokens/秒，首 token 延迟最高快 3.3 倍。
推荐理由
Hugging Face 官方发布 Optimum-NVIDIA，给出改一行代码即可提速的实测数据与代码示例。
来源：Hugging Face Blog · huggingface.co