network in network

1、mlp convolution
local patch 只采取传统卷积操作,属于线性操作,无法提取出非线性特征。多层感知机可拟合复杂函数。因此,将local patch提取的特征接入到多层感知机中,以提取出该local patch的隐藏特征。
mlp中的神经元对应1*1的channel

network in network
network in network
2、globe pooling layer
以全局池化层取代全连接层,由于对local patch提取的都是高级特征,最终可保证得到的patch也是高级特征,此时,利用对feature map取均值后输入softmax进行分类即可。
经过实验验证,全局池化层也确有正则化功效
可以代替全连接层,正是由于local patch进行了复杂特征提取
network in network