Llama 2 在 Amazon SageMaker 上的部署基准测试

Hugging Face 对 Llama 2 在 Amazon SageMaker 上的 60 种部署配置做了基准测试，覆盖 7B、13B、70B 三种模型规模、1/5/10/20 并发请求，以及 g5.2xlarge、g5.12xlarge、g5.48xlarge 和 p4d.24xlarge 四种实例。