STN-Spatial Transformer network

STN-Spatial Transformer network

原文:https://arxiv.org/abs/1506.02025

 

STN是一个独立的模块,可将一个图像或feature map 进行相应空间变换,可在CNN网络的任意位置嵌入任意数量该模块,并不影响原网络速度.

STN-Spatial Transformer network

STN-Spatial Transformer network

STN 实际分为三个部分:

①Localisation net:    θ=floc(U). 

        输入是图像或feature map U∈RHxWxC ,输出θ,其size根据transformer 类型而定。floc(*)可以表示任何形式的网络,如全连接或卷积,只要输出为θ

 

Grid generator :    Grid G 变换区域

        假如进行一个仿射变换,则Tθ是个2D的仿射变换Aθ ,需要6个参数,对应点坐标变换如下:

 

                                          STN-Spatial Transformer network

其他变换的θ个数结合实际情况而定。

 

③ 为了方便反向传播,对应坐标的值变换有如下计算公式

                                    STN-Spatial Transformer network

STN只利用网络自动学习了θ的值,然后通过传统的变换公式将一个feature map或原始图像进行空间变换,得到新的feature map 或图像。