深度学习---炼丹trick之Normalization（BN/LN/WN/CN）

参考文献：详解深度学习中的Normalization，BN/LN/WN
https://zhuanlan.zhihu.com/p/33173246

3主流 Normalization 方法梳理

在上一节中，我们提炼了 Normalization 的通用公式：

对照于这一公式，我们来梳理主流的四种规范化方法。

3.1 Batch Normalization —— 纵向规范化

3.2 Layer Normalization —— 横向规范化


3.3 Weight Normalization —— 参数规范化

3.4 Cosine Normalization —— 余弦规范化