1️⃣ 归一化 (Normalization)
👉 目的是 调整数据的分布,让训练更稳定。
数据层面的归一化
比如把输入像素缩放到 [0,1] 或标准化为均值 0、方差 1。
例子:transforms.Normalize((0.5,), (0.5,))。
层内的归一化
在网络内部,像 BN、LayerNorm、GroupNorm。
这些操作会对特征图的均值/方差做规范化。
📌 关键点:归一化不改变模型容量,只是让训练更快、更稳定。
2️⃣ 正则化 (Regularization)
👉 目的是 限制模型的复杂度,减少过拟合。
常见方法:
权重惩罚:L1/L2 正则化(在 loss 里加二范数
随机丢弃:Dropout
数据增强:随机翻转、裁剪
早停 (Early stopping)
📌 关键点:正则化是通过“约束”让模型不要过于拟合训练集,从而泛化更好。