图像处理基础-旋转(rotation), 平移(shift), 缩放(scale), 错切(shear)

最近在学习data augmentation的一些方法，在训练模型时经常碰到训练数据不够的情况，尤其是图像方面的模型，例如CNN。这时候对数据进行增强可以大大扩充训练集的规模，对模型的最终的准确度和泛化能力都有很大的帮助，有时甚至是决定性的作用

今天先学习了下图像方面的增强方法，主要是对图像进行小幅度的旋转，平移，缩放和错切，这4个方面的变换可以组成任意的affine transformation。实际应用时就是把原有数据的不同尺寸的图片缩放到相同尺寸，并添加随机的小幅度旋转，平移和错切来生成大量额外训练数据。

1. 旋转
   
   图片画的不是特别好，请轻吐槽
   原有的点(X,Y)和坐标轴夹角 θ$\theta$,旋转α$\alpha$角度后到达(X́ ,Ý )$(\acute{X},\acute{Y})$, 记(X,Y)的模为L， 那么:

   L∗cos(θ)=XL∗sin(θ)=YL∗cos(θ+α)=X́ L∗sin(θ+α)=Ý $$\begin{array}{rl}& L\ast cos(\theta )=X\\ & L\ast sin(\theta )=Y\\ & L\ast cos(\theta +\alpha )=\acute{X}\\ & L\ast sin(\theta +\alpha )=\acute{Y}\end{array}$$

   从三角公式可得：
   

   L∗(cos(θ)∗cos(α)−sin(θ)∗sin(α))=X́ L∗(sin(θ)∗cos(α)+cos(θ)∗sin(α))=Ý $$\begin{array}{rl}& L\ast (cos(\theta )\ast cos(\alpha )-sin(\theta )\ast sin(\alpha ))=\acute{X}\\ & L\ast (sin(\theta )\ast cos(\alpha )+cos(\theta )\ast sin(\alpha ))=\acute{Y}\end{array}$$
   
   代入初始公式：
   
   X∗cos(α)−Y∗sin(α)=X́ Y∗cos(α)+X∗sin(α)=Ý $$\begin{array}{rl}& X\ast cos(\alpha )-Y\ast sin(\alpha )=\acute{X}\\ & Y\ast cos(\alpha )+X\ast sin(\alpha )=\acute{Y}\end{array}$$
   
   最终得到:
   
   ⎡⎣⎢⎢⎢X́ Ý 1⎤⎦⎥⎥⎥=⎡⎣⎢⎢cos(α)sin(α)0−sin(α)cos(α)0001⎤⎦⎥⎥∗⎡⎣⎢⎢XY1⎤⎦⎥⎥$$\left[\begin{array}{c}\acute{X}\\ \acute{Y}\\ 1\end{array}\right]=\left[\begin{array}{ccc}cos(\alpha )& -sin(\alpha )& 0\\ sin(\alpha )& cos(\alpha )& 0\\ 0& 0& 1\end{array}\right]\ast \left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]$$

2. 平移
   平移比较简单
   

   X+Xt=X́ Y+Yt=Ý $$\begin{array}{rl}& X+X_t=\acute{X}\\ & Y+Y_t=\acute{Y}\end{array}$$
   
   写成类似形式
   
   ⎡⎣⎢⎢⎢X́ Ý 1⎤⎦⎥⎥⎥=⎡⎣⎢⎢100010XtYt1⎤⎦⎥⎥∗⎡⎣⎢⎢XY1⎤⎦⎥⎥$$\left[\begin{array}{c}\acute{X}\\ \acute{Y}\\ 1\end{array}\right]=\left[\begin{array}{ccc}1& 0& X_t\\ 0& 1& Y_t\\ 0& 0& 1\end{array}\right]\ast \left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]$$

3. 缩放
   缩放和平移类似，也比较简单
   
   X∗Xzoom=X́ Y∗Yzoom=Ý $$\begin{array}{rl}& X\ast X_{zoom}=\acute{X}\\ & Y\ast Y_{zoom}=\acute{Y}\end{array}$$
   
   写成类似形式
   
   ⎡⎣⎢⎢⎢X́ Ý 1⎤⎦⎥⎥⎥=⎡⎣⎢⎢Xzoom000Yzoom0001⎤⎦⎥⎥∗⎡⎣⎢⎢XY1⎤⎦⎥⎥$$\left[\begin{array}{c}\acute{X}\\ \acute{Y}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{X}_{zoom}& 0& 0\\ 0& Y_{zoom}& 0\\ 0& 0& 1\end{array}\right]\ast \left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]$$
   
   
   1. 错切
      
      错切可以通过矩形变成平行四边形来理解，错切可以沿着任意一个坐标轴进行，图例是沿着Y轴进行错切
      
      X+sin(θ)∗Y=X́ Y∗cos(θ)=Ý $$\begin{array}{rl}& X+sin(\theta )\ast Y=\acute{X}\\ & Y\ast cos(\theta )=\acute{Y}\end{array}$$
      
      写成类似形式
      
      ⎡⎣⎢⎢⎢X́ Ý 1⎤⎦⎥⎥⎥=⎡⎣⎢⎢100sin(θ)cos(θ)0001⎤⎦⎥⎥∗⎡⎣⎢⎢XY1⎤⎦⎥⎥$$\left[\begin{array}{c}\acute{X}\\ \acute{Y}\\ 1\end{array}\right]=\left[\begin{array}{ccc}1& sin(\theta )& 0\\ 0& cos(\theta )& 0\\ 0& 0& 1\end{array}\right]\ast \left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]$$
      
      欢迎大家批评指正！