Hacker News Show HN· KanishkIndia·· 13 天前AI 评分40
Spectra-FFT:把 LLM 训练的 AdamW 显存占用砍掉 50%
Show HN: Spectra-FFT – Cutting AdamW VRAM Usage by 50% for LLMs
AI 导读
Spectra-FFT 是一个可直接替换 AdamW 的优化器,把 LLM 全参数训练中的优化器状态显存降低约 50%+,切换只需一行代码。它用频域方法只存储驱动学习的那部分信号,不依赖 LoRA 等低秩适配器,checkpoint 格式保持兼容,可在 NVIDIA A100 的 CUDA 上运行。目前未开源,论文、训练日志和 5GB 显存分区内的实测记录已公开,评估访问需申请并签署 NDA。
来源:Hacker News Show HN · spectralabs.si