跳到正文
原文
Hugging Face Blog·· 2024-07-18精选AI 评分62

Hugging Face TGI 推出 Multi-LoRA:一次部署服务 30 个模型

TGI Multi-LoRA: Deploy Once, Serve 30 Models

AI 导读

Hugging Face 为 TGI 推出 Multi-LoRA serving,只需部署一次基础模型,就能按请求动态切换多个 LoRA 适配器,官方示例用 mistralai/Mistral-7B-v0.1 同时服务 predibase/customer_support 和 predibase/magicoder。

推荐理由

Hugging Face 官方介绍 TGI 的 Multi-LoRA 部署方式,给出成本与用量对比,适合评估多模型推理方案。

来源:Hugging Face Blog · huggingface.co