AirLLM 让 70B 模型在单张 4GB 显卡上推理，并支持小显存训练
AirLLM 通过每次只在 GPU 上保留一层权重，把 70B 大模型的推理显存降到单张 4GB 显卡，无需量化、蒸馏或剪枝。项目称 Kimi K3（2.8T）可在 3.72GB 显存运行，DeepSeek-V3（671B）约 12GB，Qwen3.8-Flash-Next（125B）在 5.95GB 内运行。
#Hugging Face
#Hugging Face
今日 0 条GitHub Trending · 每日AI 评分6262
V2EX 最新主题AI 评分3838 Laya 模型本地一键安装包与工作台开源，支持 Windows / Linux
开发者开源了 Laya 判定模型的本地一键安装包与网页工作台，支持 Windows 和 Linux，界面含中英文。安装脚本自动建虚拟环境并按显卡装 PyTorch 和 laya[serve]，首次启动需下载约 650 MB 的 multilingual 模型，需 Python 3.10 或更高版本。