批量归一化 Batch normalization

批量归一化 Batch normalization
[标准化出炉后的数据当作第一层的输入,标准化处理为均值为0,方差为1的特征数据]
现在我们加入批量归一化的操作,就是将乘完权重 W 后的数据 s 1
1

先减掉这一批量数据的均值和方差,得到 s 2
2

后再去进行缩放(乘以 γ ) 和平移(加上 β )。得到 s 3
3

后再经过一个 ReLU 函数,再得到 h 1
1

作为下一层(隐藏层第一层)的输入。
批量归一化 Batch normalization