Press⌘+Kto search
全参微调（Full Fine-tuning）
微调训练全参微调更新模型全部权重，效果上限最高，但显存约 16GB/1B 参数——7B 模型就需要 112GB 以上，通常只有多卡或数据中心环境才跑得动。
#显存都花在哪了
FP16 权重 2B + FP16 梯度 2B + Adam 优化器状态 8B（两个 FP32 动量）+ FP32 主权重 4B ≈ 16 字节/参数，再叠加激活值。这就是"7B 全参微调要 4×A100"这类说法的由来。
#什么时候值得上全参
- 任务与基座差异极大（如把通用模型改成医疗专业模型）
- 有充足的高质量数据（万条以上）与算力预算
- 只是教模型新格式/新领域知识/风格：优先 LoRA，性价比高得多
- 多卡方案：DeepSpeed ZeRO-3、FSDP 做权重分片
相关词条
本页目录
- #显存都花在哪了
- #什么时候值得上全参
更新于 2026-10-02
#关于「全参微调（Full Fine-tuning）」的常见问题
全参微调更新模型全部权重，效果上限最高，但显存约 16GB/1B 参数——7B 模型就需要 112GB 以上，通常只有多卡或数据中心环境才跑得动。
本词条属于微调训练分类，与 、 等概念紧密相关。如果你刚开始接触本地大模型部署，建议按「基础概念 → 模型与量化 → 推理与部署」的顺序阅读相关词条，配合 GPU 检测工具 边学边验证自己硬件的可行方案。