09-20-2025

1️⃣ 归一化 (Normalization)

👉 目的是 调整数据的分布,让训练更稳定。

数据层面的归一化

比如把输入像素缩放到 [0,1] 或标准化为均值 0、方差 1。

例子:transforms.Normalize((0.5,), (0.5,))。

层内的归一化

在网络内部,像 BN、LayerNorm、GroupNorm。

这些操作会对特征图的均值/方差做规范化。

📌 关键点:归一化不改变模型容量,只是让训练更快、更稳定。

2️⃣ 正则化 (Regularization)

👉 目的是 限制模型的复杂度,减少过拟合。

常见方法:

权重惩罚:L1/L2 正则化(在 loss 里加二范数

随机丢弃:Dropout

数据增强:随机翻转、裁剪

早停 (Early stopping)

📌 关键点:正则化是通过“约束”让模型不要过于拟合训练集,从而泛化更好。