LoRA微调显存计算器

微调显存由四部分组成：模型权重、优化器状态、激活值和框架开销。三种主流方式差别巨大——全参微调每个参数约需 16 字节（FP16 权重 2B + 梯度 2B + Adam 状态 8B + FP32 主权重 4B），因此 7B 模型全参微调需要约 112GB 以上；LoRA 冻结基础权重只训练低秩适配器，FP16 权重 2B/参数即可起步；QLoRA 把基础权重量化到 4-bit，约 0.6B/参数，24GB 消费卡就能微调 33B 模型。

省显存的工程手段

• 梯度检查点：重算换显存，激活值降至 1/4 左右
• 梯度累积：小批多次累积等效大批，激活值只按小批算
• 8-bit 优化器：Adam 状态减半（paged_adamw_8bit）
• NEFTune / Unsloth / Liger Kernel：算子级优化进一步压缩

常见问题

• 估算和实际训练差多少？±20% 以内。实际显存受框架版本、是否 flash-attention、词表大小（logits 峰值）影响，务必留出余量。
• 为什么大词表模型（如 Qwen）显存更高？输出 logits 层为 [batch×seq, vocab] 的 FP32 张量，词表 15 万时峰值可达数 GB，本工具已折算进框架开销。