AirLLM 让 70B 模型在单张 4GB 显卡上推理，并支持小显存训练

AirLLM 通过每次只在 GPU 上保留一层权重，把 70B 大模型的推理显存降到单张 4GB 显卡，无需量化、蒸馏或剪枝。项目称 Kimi K3（2.8T）可在 3.72GB 显存运行，DeepSeek-V3（671B）约 12GB，Qwen3.8-Flash-Next（125B）在 5.95GB 内运行。