神经网络权重的初始化
当你训练神经网络时，权重随机初始化是很重要的。对于逻辑回归，把权重初始化为 0，当然也是可以的。
但是对于一个神经网络，如果你把权重或者参数都初始化为 0，那么梯度下降将不会起作用。
1.权重初始化的重要性
神经网络的训练过程中的参数学习时基于梯度下降算法进行优化的。梯度下降法需要在开始训练时给每个参数赋予一个初始值。这个初始值的选取十分重要。在神经网络的训练中如果将权重全部初始化为0，则第一遍前向传播过程中，所有隐藏层神经元的**函数值都相同，导致深层神经元可有可无，这一现象称为对称权重现象。
为了打破这个平衡，比较好的方法是对每层的权重都进行随机初始化，这样使得不同层的神经元之间有很好的区分性。但是，随机初始化参数的一个问题是如何选择随机初始化的区间。
- 如果权重初始化太小，会导致神经元的输入过小，随着层数的不断增加，会出现信号消失的问题；也会导致sigmoid**函数丢失非线性的能力，因为在 0 附近sigmoid函数近似是线性的。
- 如果参数初始化太大，会导致输入状态太大，对sigmoid**函数来说，**函数的值会变得饱和，从而出现梯度消失的问题。
2.常用的参数初始化方法
- 高斯分布 初始化：参数从一个固定均值(比如0)和固定方差(比如0.01)的高斯分布进行随机初始化。
正态分布又名高斯分布，
- 均匀分布 初始化：在一个给定的区间[-r,r]内采用均匀分布来初始化参数。超参数 r 的设置可以按照神经元的连接数量进行自适应的调整。
x~
- 初始化一个深层神经网络时，一个比较好的初始化策略是保持每个神经元输入和输出的方差一致。
3.Xavier初始化
-
当网络使用logistic**函数（sigmoid**函数）时，xavier初始化可以根据每层的神经元数量来自动计算初始化参数的方差。假设第 l 层神经元的**函数是logistic函数，对第 l-1 层到第 l 层的权重区间r可以设置为：
- 当网络使用tanh**函数时，r 可以设置为：
4.He初始化
5.参考书籍
reference：