亚当对比：一次训练复盘
亚当对比不能只看谁先把loss压低。一次合理复盘，要把学习率、权重衰减、warmup、验证集波动放在同一张桌上。下面用一个图像分类小实验的流程，还原Adam、AdamW和SGD该怎么公平比较。
步骤1：先固定问题，不让变量乱跑
案例设定很朴素：用ResNet-18训练CIFAR-10，目标不是刷榜，而是观察优化器差异。数据增强只保留随机裁剪、水平翻转和标准化；batch size固定为128；训练轮数设为100；评价指标看验证准确率、训练loss下降速度和最后10轮波动。
亚当对比最怕一边用了余弦退火，一边用了阶梯衰减；一边有warmup，一边没有。这样比较出来的不是优化器，而是一锅混合策略。复盘时先把数据、模型、epoch、增强、随机种子写死，后面每一步才有解释空间。
步骤2：给每个优化器找合理起跑线
Adam不应该照搬SGD的学习率。这个案例里可以试Adam的1e-3、3e-4、1e-4；AdamW同样扫这三个点，weight_decay试0.01和0.05；SGD则从0.1、0.05、0.01配合momentum=0.9开始。
公平不是所有参数一样，而是每个优化器都给它常用的有效区间。Adam用0.1大概率直接炸，SGD用1e-4则像慢走。把不合理配置拿来证明某个优化器差，本质上没有复盘价值。
步骤3：看前20轮，Adam通常占优
前20轮常见现象是Adam训练loss下降最快，AdamW紧随其后，SGD慢一些。原因很清楚：Adam的自适应步长能快速处理不同层的梯度尺度，初期不需要像SGD那样依赖精细的学习率调度。
但这一步只回答一个问题：谁更快进入可学习状态。它不能回答谁最后泛化更好。很多人看到Adam前期曲线漂亮就提前下结论，等到80轮后验证准确率停住，又去怀疑模型结构。复盘时要把前期速度和最终质量分开记录。
步骤4：看中后期，AdamW更容易解释
进入中后期后，Adam如果weight_decay处理不当，训练集继续变好，验证集却不动，甚至轻微回落。AdamW因为解耦权重衰减，往往更容易调出稳定结果。SGD在配好余弦退火或多步衰减后，后程追上并不罕见。
这类对比里，我会特别看最后10轮验证准确率的标准差。某个配置峰值高但波动大，线上或论文复现时未必可靠；另一个配置峰值低0.2个百分点但更稳，工程上可能更值钱。
步骤5：把结论写成选择规则
这次亚当对比的结论不是“Adam好”或“SGD好”，而是选择规则：想快速验证模型能否收敛，Adam或AdamW更省时间；追求图像任务最终泛化，SGD仍值得认真调；Transformer、稀疏特征和微调任务，AdamW通常是首选。
复盘最有用的产物不是一张排行榜，而是一套下次能复用的判断：前期看收敛速度，中期看验证曲线，后期看波动和泛化差距。优化器不是信仰题，是成本、稳定性和最终指标的权衡题。
常见问题
Adam对比SGD时为什么不能用同一个学习率？
两者步长机制不同。Adam有自适应缩放，常用学习率远小于SGD。强行同学习率会让比较失真。
AdamW比Adam强在哪里？
AdamW把权重衰减从梯度更新中解耦，正则效果更清楚，尤其适合Transformer和现代视觉模型。
做优化器对比至少要记录什么？
记录训练loss、验证指标、学习率曲线、weight_decay、随机种子、最后若干轮波动。只报一个最高分不够。