006. Facenet将backbone替换为mobilenet v1后准确率始终保持0.500+-0.00不变,无法学习特征的解决办法

序：backbone使用inception v1和squeezenet时都能正常训练，但是替换为mobilenet v1后模型无法学到东西，准确率保持0.500+-0.000不变。

1. 问题原因：整个神经网络都变成了dead network。在triplet loss后模型无法将negative属性的特征拉远。

2.问题出处：优化器有问题，不管你怎么调整步长，原始的Adagrad优化器估计是陷入了局部最小。（ps：后来换了SGD也一样）

3.解决办法：用Rmsprop优化器。Rmsprop是Adagrad的进阶版，收敛更快。数学公式的推导可看下图。