[Paper Note] Meta-SR A Magnification-Arbitrary Network for Super-Resolution

Summary

这篇文章的创新点在于提出了Meta-Upscale Module这个模块，实现了任意尺寸的放大（当然这篇论文做的主要是x1-x4的倍数），核心思想是HR和LR图片之间实际上是一个缩放关系，有一个缩放因子r。LR的像素通过一组滤波器权重可以映射到SR上，所以找到SR图片和LR图片的像素映射，训练出滤波器权重。
$\mathbf{I}^{S R}(i, j)=\Phi\left(\mathbf{F}^{L R}\left(i^{\prime}, j^{\prime}\right), \mathbf{w}(i, j)\right) \tag{1}$ISR(i,j)=Φ(FLR(i′,j′),w(i,j))(1)
因为r的大小可以认为任意选择，也就实现了任意尺度的缩放。

Architecture

网络实际上分位两部分：特征提取+放大。
特征提取如图，堆叠三个RDB模块。
第二部分则是重点，这个模块可以看作是LR图像到HR图像的映射模块。

Meta-Upscale 模块有三个重要的函数，即 Location Projection、Weight Prediction、Feature Mapping。

• Location Projection 把像素投射到 LR 图像上，即找到与像素（i, j）对应的像素（i′, j′)。作者认为像素（i, j）的值是由像素（i′, j′）的特征所决定.
  $\left(i^{\prime}, j^{\prime}\right)=T(i, j)=\left(\left\lfloor\frac{i}{r}\right\rfloor,\left\lfloor\frac{j}{r}\right\rfloor\right) \tag{2}$(i′,j′)=T(i,j)=(⌊ri​⌋,⌊rj​⌋)(2)
• WeightPrediction 模块为 SR 图像上每个像素预测 对应滤波器的权重
  $\mathbf{W}(i, j)=\varphi\left(\mathbf{v}_{i j} ; \theta\right) \tag{3}$W(i,j)=φ(vij​;θ)(3)
  其中 $v_{ij}$vij​ 是与$i, j$i,j相关联的向量，也是权重预测网络的输
  $\mathbf{v}_{i j}=\left(\frac{i}{r}-\left\lfloor\frac{i}{r}\right\rfloor, \frac{j}{r}-\left\lfloor\frac{j}{r}\right\rfloor\right)\tag{4}$vij​=(ri​−⌊ri​⌋,rj​−⌊rj​⌋)(4)
  $\mathbf{v}_{i j}=\left(\frac{i}{r}-\left\lfloor\frac{i}{r}\right\rfloor, \frac{j}{r}-\left\lfloor\frac{j}{r}\right\rfloor, \frac{1}{r}\right)\tag{5}$vij​=(ri​−⌊ri​⌋,rj​−⌊rj​⌋,r1​)(5)
• Feature Mapping 函数利用预测得到的权重将 LR 图像的特征映射回 SR 图像空间以计算其像素值。
  $\Phi\left(\mathbf{F}^{L R}\left(i^{\prime}, j^{\prime}\right), \mathbf{W}(i, j)\right)=\mathbf{F}^{L R}\left(i^{\prime}, j^{\prime}\right) \mathbf{W}(i, j)\tag{6}$Φ(FLR(i′,j′),W(i,j))=FLR(i′,j′)W(i,j)(6)