Siamese Network初步理解

参考https://blog.****.net/hjimce/article/details/50098483

普通的siamese networkSiamese Network初步理解

patch1与patch2是两幅图片,此网络的目的就是判断这两幅图的相似度
inference:两幅图片经过特征提取网络得到两个输出,计算这两个输出的差即得到图片的特征的距离,即可计算出相似度(具体怎么计算相似度未知,得看paper)
training:训练时输出的相似度与gt的实际相似度做差值得到损失,反向传播即可
这张图片可能更好看
Siamese Network初步理解

2-channel的Siamese Network

之前不是两张图片分别输入特征提取网络,然后计算输出结果的差值吗
这次直接把两张图片叠在一起,组成一个2-channel的输入,最后一层为全连接层,网络的输出直接定义为相似度,通过损失函数计算损失,反向传播

加上Central-surround two-stream network

Siamese Network初步理解
就是相当于多尺度训练,6464的图片变为3232的图片
1种方法是Central-surround,就是直接在中间挖出32*32的图片
第2种方法是直接对原图下采样到32*32
两个尺度的输入分别计算出相似度然后融合(做加权平均?)

加SPP空间金字塔池化

就是何凯明的那个可以让网络接受任意输入尺度图像的模块,我记得应该写过,难道没上传?