SENet

SENet
SENet是一种网络层之间可以安插的block，比如可以安插在ResNet、Inception中。

它的核心就是：
对feature map，抑制没用的channel，增强有用的channel。而抑制和增强则是通过训练(0,1)之间的权重来完成。

具体如下：

以SE-Inception为例，首先对HxWxC的feature map进行global pooling，得到1x1xC的feature map。然后接两层FC，最后仍然输出1x1xC。这里C个channel，每个channel存放着(0,1)之间的weight。

操作：

1、squeeze操作：进行global average pooling操作，具有全局的感受野。

2、引入两个FC层（1*1卷积层）限制模型复杂度

3、excitation操作：门控机制，学习参数为每个特征通道生成权重。weight越大，代表原feature map中对应channel的信息越有用，weight越小，代表越渣。

4、reweight操作：将这些weights分别与原feature map上的值相乘，得到新的feature map。