LoRA微调显存计算器
估算全参 / LoRA / QLoRA 微调所需显存,推荐合适的显卡配置
选择基础模型、微调方式、批大小与序列长度,按「权重 + 优化器 + 激活值 + 框架开销」估算训练显存,并给出可运行的显卡建议。公式与系数透明可查,结果为工程估算值,实际以框架日志为准。
训练配置
32 层 · 隐藏维度 4,096
冻结权重训练低秩适配器,显存约为推理的 1.2 倍
显存账单
17.6 GB
估算训练显存
24GB
建议显卡(留 25% 余量)
可行
单卡 24GB 评估
常见显卡能否跑得动
8GB 显存 · 不足
12GB 显存 · 不足
16GB 显存 · 不足
24GB 显存
48GB 显存
80GB 显存
消费级单卡跑不下时,可组合:QLoRA 降批大小 / 多卡张量并行 / 云端租卡(A100 80G 单卡可全参微调 13B)。
#关于微调显存估算
微调显存由四部分组成:模型权重、优化器状态、激活值和框架开销。三种主流方式差别巨大——全参微调每个参数约需 16 字节(FP16 权重 2B + 梯度 2B + Adam 状态 8B + FP32 主权重 4B),因此 7B 模型全参微调需要约 112GB 以上;LoRA 冻结基础权重只训练低秩适配器,FP16 权重 2B/参数即可起步;QLoRA 把基础权重量化到 4-bit,约 0.6B/参数,24GB 消费卡就能微调 33B 模型。
省显存的工程手段
- 梯度检查点:重算换显存,激活值降至 1/4 左右
- 梯度累积:小批多次累积等效大批,激活值只按小批算
- 8-bit 优化器:Adam 状态减半(paged_adamw_8bit)
- NEFTune / Unsloth / Liger Kernel:算子级优化进一步压缩
常见问题
- 估算和实际训练差多少?±20% 以内。实际显存受框架版本、是否 flash-attention、词表大小(logits 峰值)影响,务必留出余量。
- 为什么大词表模型(如 Qwen)显存更高?输出 logits 层为 [batch×seq, vocab] 的 FP32 张量,词表 15 万时峰值可达数 GB,本工具已折算进框架开销。
相关工具推荐
JSON转TypeScript接口
根据JSON数据自动生成TypeScript类型定义
Spine动画编辑器
专业的Spine动画预览和编辑工具,支持多引擎导出
JVM启动参数配置
可视化配置Java虚拟机启动参数,支持内存、GC、性能等选项
代码片段转换
不同编程语言间代码片段转换(如Python↔JavaScript)
API响应模拟器
根据JSON Schema自动生成模拟API响应数据
SQL查询优化器
分析SQL查询语句性能短板,索引与改写建议逐条给出,慢查询优化有的放矢
相关教程
LoRA 微调入门:单卡调出自己的模型
从数据准备到训练与合并,走通 LoRA/QLoRA 微调全流程。核心原则是先算显存预算再选方案,避免一上来就撞 OOM。
2026-10-03
GGUF 量化怎么选:Q3 / Q4 / Q6 / Q8 的质量与体积取舍
量化是大模型进消费级硬件的门票。解读 GGUF 文件命名规则,给出各档位体积与质量对照表,并按显存富余程度给出选择决策树。
2026-10-03
本地部署还是调 API?一笔算得清的成本账
API 按 Token 计费,本地只花电费——但折旧、并发与质量差距也要算进去。用一套可复算的成本模型,给轻度、中度、重度三档调用量的明确结论。
2026-10-03