deocder的拼接和相加;unet的优势;GAP

1、在decoder过程中,拼接和相加有什么区别?

在相加的方式下,feature map 的维度没有变化,但每个维度都包含了更多特征,对于普通的分类任务这种不需要从 feature map 复原到原始分辨率的任务来说,这是一个高效的选择;而拼接则保留了更多的维度/位置 信息,这使得后面的 layer 可以在浅层特征与深层特征*选择。

UNET中的skip-connection结构,一方面,通过上采样(逆卷积)利用来自high-level的特征,另一方面,通过拼接,来利用low-level的特征,增强了feature maps中的信息含量,提升结果的准确性。

2、global average pooling:

在卷积神经网络中,通常用GAP来代替线性层,减少模型参数,降低过拟合风险。GAP后通常加一个softmax层来做分类。但是,全连接层中的冗余参数其实并不是一无是处,这些参数可以增强模型的迁移性能

deocder的拼接和相加;unet的优势;GAP

deocder的拼接和相加;unet的优势;GAP