cs231n笔记-批量归一化
批量归一化 Batch Normalization
期望
高斯范围内保持**
unit gaussian activations
操作
- 在每个唯独独立计算经验均值和方差
- 归一化
- 合理缩放
通常在全连接层或者卷积层的后面,非线性操作的前面进行归一化操作。
问题:tanh层是否真的希望得到高斯输入?
- 合理放缩
引入超参数和来对归一化后的x进行合理放缩
1. 改善网络中的梯度流
2. 允许使用更高的学习率
3. 减少对初始化的依赖
4. 作为一种规范的方法,试图减少神经元的失活率
Notes
At test time BatchNorm layer functions differently:
The mean/std are not computed based on the batch. Instead, a single fixed empirical mean of activations during training is used.
(e.g. can be estimated during training with running averages)