CV基础学习Task2,几何变换

这篇我好像没什么能说的。。大部分都把教材上拿下来了。

2.1 简介

(原文)
该部分将对基本的几何变换进行学习,几何变换的原理大多都是相似,只是变换矩阵不同,因此,我们以最常用的平移和旋转为例进行学习。在深度学习领域,我们常用平移、旋转、镜像等操作进行数据增广;在传统CV领域,由于某些拍摄角度的问题,我们需要对图像进行矫正处理,而几何变换正是这个处理过程的基础,因此了解和学习几何变换也是有必要的。

这次我们带着几个问题进行,以旋转为例:

  • 1:变换的形式(公式)是什么?

  • 2:旋转中心是什么?毕竟以不同位置为旋转中心得到的结果是不一样的。

  • 3:采用前向映射还是反向映射?(反向映射更为有效)

  • 4:采用反向映射后,采用何种插值算法?最常用的的是双线性插值,OpenCV也是默认如此。

2.2 学习目标

  • 了解几何变换的概念与应用

  • 理解平移、旋转的原理

  • 掌握在OpenCV框架下实现平移、旋转操作

2.3 内容介绍

1、平移、旋转的原理

2、OpenCV代码实践

3、动手实践并打卡(读者完成)

2.4 算法理论介绍

CV基础学习Task2,几何变换
矩阵的计算方法:shape=(1x3)*(3x3) = 1x3
CV基础学习Task2,几何变换

坐标系变换

再看第二个问题,变换中心,对于缩放、平移可以以图像坐标原点(图像左上角为原点)为中心变换,这不用坐标系变换,直接按照一般形式计算即可。而对于旋转和偏移,一般是以图像中心为原点,那么这就涉及坐标系转换了。,

我们都知道,图像坐标的原点在图像左上角,水平向右为 X 轴,垂直向下为 Y 轴。数学课本中常见的坐标系是以图像中心为原点,水平向右为 X 轴,垂直向上为 Y 轴,称为笛卡尔坐标系。看下图:

CV基础学习Task2,几何变换

因此,对于旋转和偏移,就需要3步(3次变换):

  • 将输入原图图像坐标转换为笛卡尔坐标系;
  • 进行旋转计算。旋转矩阵前面已经给出了;
  • 将旋转后的图像的笛卡尔坐标转回图像坐标。

图像坐标系与笛卡尔坐标系转换关系:

先看下图:

CV基础学习Task2,几何变换

在图像中我们的坐标系通常是AB和AC方向的,原点为A,而笛卡尔直角坐标系是DE和DF方向的,原点为D。
令图像表示为M×N的矩阵,对于点A而言,两坐标系中的坐标分别是(0,0)和(-N/2,M/2),则图像某像素点(x’,y’)转换为笛卡尔坐标(x,y)转换关系为,x为列,y为行:

CV基础学习Task2,几何变换

逆变换为:

CV基础学习Task2,几何变换

图像坐标系 -> 笛卡尔直角坐标系:图像坐标系原点A点的笛卡尔坐标(a,b),输入的图像坐标(x,y),输出的笛卡尔坐标(a+x, b-y)两坐标系方向相同则加(x方向相同),方向相反则减(y方向相减)。

笛卡尔直角坐标系 -> 图像坐标系:笛卡尔直角坐标系原点D点的图像坐标(a,b),输入的笛卡尔直角坐标(x,y),输出的图像坐标(a+x, b-y)两坐标系方向相同则加,方向相反则减。但公式只要移位就可得出。

于是,根据前面说的3个步骤(坐标转换,旋转,坐标转换),旋转(顺时针旋转)的变换形式就为,3次变换就有3个矩阵:

CV基础学习Task2,几何变换

反向映射

看第3个问题,在冈萨雷斯的《数字图像处理_第三版》中说的很清楚,前向映射就是根据原图用变换公式直接算出输出图像相应像素的空间位置,那么这会导致一个问题:可能会有多个像素坐标映射到输出图像的同一位置,也可能输出图像的某些位置完全没有相应的输入图像像素与它匹配,也就是没有被映射到,造成有规律的空洞(黑色的蜂窝状)。更好的一种方式是采用 反向映射(Inverse Mapping):扫描输出图像的位置(x,y),通过
CV基础学习Task2,几何变换
(为T的逆矩阵)计算输入图像对应的位置 (v,w),通过插值方法决定输出图像该位置的灰度值。

插值

第4个问题,采用反向映射后,需通过插值方法决定输出图像该位置的值,因此需要选择插值算法。通常有最近邻插值、双线性插值,双三次插值等,OpencV默认采用双线性插值,我们也就采用双线性插值。