dropout的原理

dropout的本质是将一些数遍设置为0,就达到失活的效果;

dropout的原理

dropout的原理

tf.layers.dropout:training默认为False;必须要True才能有效;而且能看出是以整体为准, 而不是每行以固定的比率失活;

dropout的原理

使用keep_prob参数;意义与上面相反;而且也是以整体为基准;

输入为batchsize的时候,如何实现输入层失活0.2呢,即每个样本通过时都会失活0.2,而不以batchsize为整体,随机失活0.2,有的样本失活的多,有的样本失活的少,甚至导致有的样本可能失活100%?看上图0的个数;

使用tf.placeholder会怎样呢?
仍然没有改变以整体数据为基准计算失活率;如图所示:
dropout的原理

很显然每一层0的个数都不一样;