您的位置: 首页 > 文章 > 神经网络中参数的初始化问题 神经网络中参数的初始化问题 分类: 文章 • 2023-03-28 19:06:04 文章目录 1. 为什么神经网络不能初始化权重W为0? 2. 随意初始化为非零的权重是否可行? 3. 如何解决神经网络中参数初始化问题? 1. 为什么神经网络不能初始化权重W为0? 参考博客 2. 随意初始化为非零的权重是否可行? 答案肯定是不行的! 随意的初始化权重可能会导致梯度爆炸和梯度消失。例如当神经网络为线性的,我们初始化所有参数W=0.1或者W=0.9,都会造成指数级影响 3. 如何解决神经网络中参数初始化问题? 对于Relu函数我们一般使用0均值和方差为2/n[l-1]的正太分布 对于tanh函数,使用0均值和方差为1/n[l-1]的正态分布,被称之为Xavier初始化