神经网络作深原因及dropout防止过拟合原因
网络加深原因:
深度学习不是模型,更像是一个框架,加上各种模型,构成新的模型。
与单层神经网络相比,深层次神经网络可在具有相同表示能力的前提下,具有更低的时间复杂度。简化模型
深层神经网络难以训练:
因为存在梯度消失问题,底层的神经元可能就训练不到了
解决方法:
layer-wise pretraing:即一层一层的来优化,用RBM/autoencoding方法,解决梯度消失的问题,目前用的不多了。
如何防止过拟合:
正则,提前终止,加噪声(dropout)来防止过拟合
dropout理论上取0.5最好,实际需要调参。
dropout可以防止过拟合原因:
实际上相当于把模型分成好多个小的模型进行训练(集成学习的思想)这样最后再进行集成,就会防止过拟合。