应在哪里插入Dropout。?完全连接层。卷积层。?或两者。?
退出只是防止网络过度配合的正则化技术。它在训练期间以给定概率将节点的权重设置为零,从而减少每次迭代训练所需的权重数量。它可以应用于网络的每一层(不管它是完全连接的还是卷积的),或者在选定的层之后。应用哪些图层丢失仅仅是为了获得最佳性能的设计决策。
通常,完全连接的图层上会放置丢失,这是因为它们是具有更多参数的图像,因此它们可能会过度地自我调整以导致过度拟合。
但是,由于它是一种随机正则化技术,因此您可以将它放在任何地方。通常,它被放置在具有大量参数的图层上,但没有人拒绝将它应用到卷积图层(对于fc图层而言,参数的数量较少)。
此外,丢弃概率应根据所需的正则化影响而改变。
经验法则是当应用于完全连接的层时将保持概率(1-丢弃概率)设置为0.5,同时将其应用于更大数量(通常为0.8,0.9)时应用于卷积层。
请注意:因为在每个机器学习框架中,退出都是以其“倒置”版本实现的,所以您应该降低学习速度以克服退出概率给学习速率带来的“推动力”。 欲了解更全面的评估:https://pgaleone.eu/deep-learning/regularization/2017/01/10/anaysis-of-dropout/
非常感谢您,我已阅读您发送的链接。我会尝试这个概率。两层的分布。 – TheWho
非常感谢您 – TheWho