ViT微调实战：pytorch-image-models中让准确率起飞的4组超参

ViT微调实战pytorch-image-models中让准确率起飞的4组超参【免费下载链接】pytorch-image-modelsThe largest collection of PyTorch image encoders / backbones. Including train, eval, inference, export scripts, and pretrained weights -- ResNet, ResNeXT, EfficientNet, NFNet, Vision Transformer (ViT), MobileNetV4, MobileNet-V3 V2, RegNet, DPN, CSPNet, Swin Transformer, MaxViT, CoAtNet, ConvNeXt, and more项目地址: https://gitcode.com/GitHub_Trending/py/pytorch-image-modelspytorch-image-modelstimm是目前规模最大的 PyTorch 图像骨干库之一ViT 全系列模型、训练脚本与预训练权重齐全。用它在自己的数据集上微调 Vision Transformer 时准确率上的差距往往不在模型本身而在学习率调度、随机深度、分层学习率衰减和 EMA 这四组超参上。下面按最小可用流程 → 关键参数 → 避坑清单的顺序逐一拆解。为什么 ViT 比 CNN 更难微调ViT 的两个特点决定了它微调时的娇气对学习率敏感。ViT 的注意力层参数与输入几乎逐元素相关大学习率下初期 loss 波动剧烈不加 warmup 很容易在前几个 epoch 发散预训练知识密度高。vit_base的 86M 参数全部来自预训练用 CNN 级别的学习率1e-3 量级直接全参微调会快速破坏底层学到的通用纹理特征。一个常被忽略的细节建议选用带.augreg_in21k_ft_in1k标签的权重如vit_base_patch16_224.augreg_in21k_ft_in1k它是 21k 图像预训练、再在 ImageNet-1k 上正则化微调过的版本标签与权重定义都写在 timm/models/vision_transformer.py 的模型注册表里迁移到下游任务时起点更高。最小可运行流程三行数据 两个工厂函数timm 的数据管线由三个工厂函数组成全部在 timm/data/ 下导出from timm.data import create_dataset, create_loader import timm dataset create_dataset( name, # 自定义数据集留空直接读文件夹 rootpath/to/data, # train/val 子目录结构 splittrain, class_mappath/to/class_map.txt, # 可选类别名映射 ) loader create_loader( dataset, input_size(3, 224, 224), batch_size128, is_trainingTrue, use_prefetcherTrue, # GPU 上预取避免数据加载拖慢训练 )模型与优化器model timm.create_model( vit_base_patch16_224.augreg_in21k_ft_in1k, pretrainedTrue, num_classes10, drop_rate0.1, drop_path_rate0.15, # 随机深度微调必配原因见下文 ) from timm.optim import create_optimizer_v2 optimizer create_optimizer_v2( model, optadamw, lr1e-4, weight_decay0.05, )两个要点create_optimizer_v2默认filter_bias_and_bnTrue见 timm/optim/_optim_factory.pybias 和归一化层参数自动被排除在权重衰减之外不需要手动拆参数组AdamW 的 0.05 权重衰减是 ViT 类模型的常用区间配合小学习率能稳定抑制过拟合。如果直接用仓库自带的 train.py 跑以上等价于--model vit_base_patch16_224.augreg_in21k_ft_in1k --opt adamw --wd 0.05 --lr 1e-4这样的命令行组合。学习率调度warmup、余弦退火与 min_lr 下限ViT 微调的调度公式基本固定为warmup cosine min_lr 地板在 timm/scheduler/scheduler_factory.py 中一次配齐from timm.scheduler import create_scheduler_v2 scheduler, num_epochs create_scheduler_v2( optimizer, schedcosine, num_epochs30, warmup_epochs5, warmup_lr1e-6, min_lr1e-6, step_on_epochsTrue, # 微调按 epoch 步进即可 )每个参数为什么这样取warmup_epochs 取总轮数的 10%–20%30 轮配 5 轮。ViT 前几千个 step 的梯度方差大从 1e-6 线性爬升到峰值学习率给 BN/注意力权重一个缓冲期是防止前期发散的关键min_lr 设为峰值学习率的约 1%1e-6而不是默认值 0。余弦退火如果衰减到 0训练尾段等于冻结分类头和高层特征失去了最后精细调整的机会。留一个地板能让模型在后期持续收敛细节这在数据量小的微调场景收益明显批量变化时学习率要同步缩放。train.py 内置了线性缩放规则lr lr_base × global_batch / 256且对 AdamW 系优化器自动改用平方根缩放对应 train.py 中--lr-base与--lr-base-scale的逻辑batch 从 256 降到 64 时不要把学习率也直接除以 4。正则化三板斧随机深度、分层学习率衰减、标签平滑drop_path_rate微调时最被低估的开关drop_path_rate即随机深度stochastic depth。timm 通过calculate_drop_path_rates在 timm/models/vision_transformer.py 中调用把它按层数线性递增分布到每个 Transformer block越深的块丢弃概率越高。微调时建议 0.1–0.2预训练的 ViT 本身就是在 0.2 随机深度下训练的微调时关掉它等于改变了一个已被权重适应过的结构数据量小于 5 万张时0.15 左右通常比 0.05 更稳训练曲线波动会小很多。注意drop_path_rate必须在create_model时显式传入加载预训练权重不会自动带上这个设置。layer_decay让浅层学得慢、深层学得快ViT 浅层靠近输入编码的是边缘、纹理等通用特征深层编码的是语义判别特征。分层衰减让学习率从后往前逐层缩小optimizer create_optimizer_v2( model, optadamw, lr1e-4, weight_decay0.05, layer_decay0.75, # 每往前一层学习率 ×0.75 )layer_decay在 0.7–0.9 之间取值效果是分类头以 1e-4 学习第一个块可能只有 1e-5 量级从而在保留预训练底层特征的同时让顶层快速适配新任务。数据量越少的场景这一项的收益越明显建议作为第二个调优变量。标签平滑小数据集上模型容易对训练样本过度自信标签平滑直接压住这种自信from timm.loss import LabelSmoothingCrossEntropy criterion LabelSmoothingCrossEntropy(smoothing0.1)0.1 是 ImageNet 系预训练的标准配置实现在 timm/loss/cross_entropy.py微调沿用即可类别数很少20时可尝试 0.05避免平滑项对置信度的抑制过强。数据增强对齐预训练管线推荐的增强组合与原 ViT 预训练管线randaug-m9-inc1 双三次插值保持一致定义在 timm/data/transforms_factory.pyfrom timm.data import create_transform transform create_transform( input_size(224, 224, 3), is_trainingTrue, auto_augmentrand-m9-mstd0.5-inc1, # RandAugment9 级算子强度 0.5 方差 color_jitter0.4, re_prob0.25, # 随机擦除擦掉一块区域逼模型不依赖局部纹理 re_modepixel, re_count1, interpolationbicubic, # 与预训练保持一致 )选rand-m9-mstd0.5-inc1而不是更强的 m10m9-inc1 是 ViT 预训练使用的强度档微调阶段再叠加更强增强容易过正则小数据集上验证指标反而下降re_prob0.25的随机擦除与 AutoAugment 互补前者破坏空间局部性后者改变颜色与几何分布两者都保留这些参数同样可以直接作为关键字传进create_loader不用单独构建 transform。模型 EMA用平滑权重做验证和导出指数滑动平均EMA对 ViT 这类对权重噪声敏感的模型收益稳定timm 的 timm/utils/model_ema.py 提供了ModelEmaV3from timm.utils import ModelEmaV3 model_ema ModelEmaV3(model, decay0.9998, devicecuda) # 训练循环中每个 optimizer.step() 之后 model_ema.update(model)使用建议验证和最终保存都用 EMA 权重而不是原模型。微调场景下 EMA 权重通常比瞬时权重更稳ModelEmaV3的衰减率是动态的支持use_warmup让 decay 从较低值逐渐爬升到目标值训练初期权重变化快应跟得更紧并可通过min_decay设置下限不需要自己写随 epoch 变化的衰减逻辑注意update的调用频率与optimizer.step()一致不要放在验证循环里。实战避坑清单梯度裁剪train.py 默认开启--clip-grad默认 5.0。ViT 在 warmup 阶段偶发梯度尖峰保留裁剪能避免个别坏 batch 毁掉 BN 统计量混合精度train.py加--amp开启训练速度接近翻倍且 ViT 微调下精度损失可忽略推理侧可用torch.compile或走 onnx_export.py 导出EMA 更新与调度步进的位置scheduler 按 epoch 调step_on_epochsTrue时每个 epoch 末调一次scheduler.step(epoch)EMA 按 step 调两者混在一个 batch 循环里时容易写错位置对照 train.py 的train_one_epoch主循环最稳妥不要拿 CNN 的直觉套 ViT1e-3 起步、无 warmup、无 drop path这三条任何一条命中训练大概率在 2–3 个 epoch 内表现崩坏结果参考仓库 results/ 下有各模型在 ImageNet 及鲁棒性测试集imagenet-r、imagenet-a 等上的精度表model_metadata-in1k.csv记录了参数量、FLOPs 等指标选基线模型时先查这张表。下一步按这个顺序落地能最快拿到稳定提升先用 30 epoch 跑通AdamW 1e-4 warmup 5 epoch cosine(min_lr1e-6) drop_path 0.15的基线然后只改一个变量地依次尝试layer_decay0.75、标签平滑 0.1、EMA每个变量对比验证集 top-1。如果数据量再上一个量级百万级可以把 drop_path 提到 0.2、增强升到更强的 auto_augment 档位并考虑更大 patch 数的变体模型。【免费下载链接】pytorch-image-modelsThe largest collection of PyTorch image encoders / backbones. Including train, eval, inference, export scripts, and pretrained weights -- ResNet, ResNeXT, EfficientNet, NFNet, Vision Transformer (ViT), MobileNetV4, MobileNet-V3 V2, RegNet, DPN, CSPNet, Swin Transformer, MaxViT, CoAtNet, ConvNeXt, and more项目地址: https://gitcode.com/GitHub_Trending/py/pytorch-image-models创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考