Deformable Convolution

终于看了看DCN,挺重要的trick,很多地方都能work,没有去看原文章,看了看别人的博客,自己在写一下,能自己写清楚才算懂了。
参考:
Deformable Convolution v1, v2 总结 - 吴冲若的文章 - 知乎
https://zhuanlan.zhihu.com/p/77644792


Motivation

普通卷积每个像素的感受野相同且为唯一值
而目标检测中,前景类的bbox大小是不同的,也就是说要求不同大小的感受野
为了解决这个问题,提出DCN,即在普通卷积之外,对于output的每个点,提供9个offset偏移系数,即这个点所对应的原feature map上9个点的偏移量(3*3卷积核)
Deformable Convolution
Deformable Convolution
如上图所示,A:普通卷积核3*3,用于预测offset的卷积核B同样是3*3,同样大小。这样先用B对原feature map进行卷积,得到output feature map同样面积大小,channel数为2N的offset map,N是卷积核的面积,3*3卷积核N就是9,2是因为有(x,y)两个方向上的偏移量,然后