Arbitrary Style Transfer with Deep Feature Reshuffle

Shuyang Gu, Congliang Chen, Jing Liao, Lu Yuan
University of Science and Technology of China, Peking University, Microsoft Research
https://arxiv.org/pdf/1805.04103v1.pdf

图像合成

图像合成主要分为parametric和non-parametric两种方法，这里主要讨论neural image synthesis。
parametric方法从一张噪声图像x$x$开始，对x$x$不断进行优化，使得x$x$的统计量（如Gram矩阵、均值方差、直方图等）与内容图像和风格图像匹配，如Neural Style。该方法能够较好地保留内容图像的结构和风格图像的整体观感，但是在局部区域会有较大程度的没有语义信息的变形，况且想找到这么一个合适的统计量也并非易事。
non-parametric通过贪心搜索内容图像中与风格图像相似的patch进行替换使内容图像的风格与目标图像相似。该方法避免了parametric方法中的问题，但是生成的图像在风格模式上不够丰富，看起来有一种washed-out的感觉。如下图所示


arbitrary style transfer: 在特征空间使内容图像特征的统计量匹配风格图像的，然后通过解码器生成出来。
本文的目的就是要融合两种方法，取长补短。基本思路是从non-parametric方法出发，引入parametric方法中使用的图像全局约束。采用的方法是feature reshuffle，即在空域对图像特征进行重排。可以证明，reshuffle之后的图像特征的Gram矩阵保持不变，保证生成的图像和风格图像的整体一致性（parametric方法的优势），并且一些特定的reshuffle方法有助于内容图像和内容图像局部语义信息的匹配（non-parametric方法的优势）。

reshuffle

Neural Style
minLtotal=αLcont+(1−α)Lstyle,Lcont=∥Fo−Fc∥2F,Lstyle=∥Go−Gs∥2F$min{L}_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l}}=\alpha L_{\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{t}}+(1-\alpha )L_{\mathrm{s}\mathrm{t}\mathrm{y}\mathrm{l}\mathrm{e}},L_{\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{t}}=\Vert F_o-F_c{\Vert }_F^2,L_{\mathrm{s}\mathrm{t}\mathrm{y}\mathrm{l}\mathrm{e}}=\Vert G_o-G_s{\Vert }_F^2$
Non-parametric
minLtotal=αLcont+(1−α)Lmatch,Lmatch=∑p∥Ψ(Fo)−ΨNN(p)(Fs)∥2F$min{L}_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l}}=\alpha L_{\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{t}}+(1-\alpha )L_{\mathrm{m}\mathrm{a}\mathrm{t}\mathrm{c}\mathrm{h}},L_{\mathrm{m}\mathrm{a}\mathrm{t}\mathrm{c}\mathrm{h}}=\sum _p\Vert \mathrm{\Psi }(F_o)-{\mathrm{\Psi }}_{NN(p)}(F_s){\Vert }_F^2$
本文的目标
min{Lcont,Lstyle,Lmatch}$min\{L_{\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{t}},L_{\mathrm{s}\mathrm{t}\mathrm{y}\mathrm{l}\mathrm{e}},L_{\mathrm{m}\mathrm{a}\mathrm{t}\mathrm{c}\mathrm{h}}\}$
图像特征的reshuffle实际上就是从S={0,...,M−1}×{0,...,N−1}$S=\{0,...,M-1\}\times \{0,...,N-1\}$到自身的一个映射T$T$。设原特征为F(x)$F(x)$，则shuffle后的特征为F(T(x))$F(T(x))$。
可以证明，对于后两个目标而言，feature reshuffle可以保证Lstyle=0$L_{\mathrm{s}\mathrm{t}\mathrm{y}\mathrm{l}\mathrm{e}}=0$，在patch大小为1时还可以保证Lmatch=0$L_{\mathrm{m}\mathrm{a}\mathrm{t}\mathrm{c}\mathrm{h}}=0$，这样只需考虑选取合适的shuffle方式，并使得Lcont$L_{\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{t}}$尽可能小即可。

方法

minLtotal=αLcont+(1−α)Lshuffle,Lshuffle=∑p∥Ψ(Fo)−ΨNNC(p)(Fs)∥2F$min{L}_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l}}=\alpha L_{\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{t}}+(1-\alpha )L_{\mathrm{s}\mathrm{h}\mathrm{u}\mathrm{f}\mathrm{f}\mathrm{l}\mathrm{e}},L_{\mathrm{s}\mathrm{h}\mathrm{u}\mathrm{f}\mathrm{f}\mathrm{l}\mathrm{e}}=\sum _p\Vert \mathrm{\Psi }(F_o)-{\mathrm{\Psi }}_{NNC(p)}(F_s){\Vert }_F^2$
NNC(p)$NNC(p)$表示带约束条件的最近邻patch，而Lshuffle$L_{\mathrm{s}\mathrm{h}\mathrm{u}\mathrm{f}\mathrm{f}\mathrm{l}\mathrm{e}}$的优化目标是使得风格图像中的patch尽可能均衡地被使用
进行逐层优化，到第二层时用图像特征通过解码器解码出图像