您的位置: 首页 > 文章 > 神经网络中参数的初始化问题 神经网络中参数的初始化问题 分类: 文章 • 2023-03-28 19:06:04 文章目录 1. 为什么神经网络不能初始化权重W为0？ 2. 随意初始化为非零的权重是否可行? 3. 如何解决神经网络中参数初始化问题？ 1. 为什么神经网络不能初始化权重W为0？ 参考博客 2. 随意初始化为非零的权重是否可行? 答案肯定是不行的！ 随意的初始化权重可能会导致梯度爆炸和梯度消失。例如当神经网络为线性的，我们初始化所有参数W=0.1或者W=0.9，都会造成指数级影响 3. 如何解决神经网络中参数初始化问题？ 对于Relu函数我们一般使用0均值和方差为2/n[l-1]的正太分布 对于tanh函数，使用0均值和方差为1/n[l-1]的正态分布，被称之为Xavier初始化
