图解流形

流形角度解释线性瓶颈层

降维
图解流形
mobilenet-v2论文中,关于流形学习的这段论述,只是为了阐述一个观点,relu函数不可靠,需要线性变换,输入到relu的channel个数越多(网子越大),信息(鱼)隐藏的越隐蔽(不好抓),不容易被人抓到(relu开启),linear bottleneck.

ReLu**函数的缺点,也是mobilenet-v2(inception, Xception等同理)中linear bottleneck设计的主要因素。

在某一层的梯度消失之后,该层将不会知道自己的W如何改变才能减小top层的loss(前线阵地战况如何啊?损失惨重吗?电话信号传过来根本听不清,我该如何配合前线?)