图像处理-------插值

1. 线性插值

已知坐标 (x0, y0) 与 (x1, y1)，要得到 [x0, x1] 区间内某一位置 x 在直线上的值。

由于 x 值已知，所以可以从公式得到 y 的值

仔细看就是用x和x0，x1的距离作为一个权重，用于y0和y1的加权，

已知 y 求 x 的过程与以上过程相同，只是 x 与 y 要进行交换。

注：其实就是已知两点坐标求直线上的其他点。

 

2. 双线性插值(Bilinear Interpolation)

在数学上，双线性插值是有两个变量的插值函数的线性插值扩展，其核心思想是在两个方向分别进行一次线性插值。

图中：红色的数据点与待插值得到的绿色点

假如我们想得到未知函数 f 在点 P = (x, y) 的值，假设我们已知函数 f 在 Q11 = (x1, y1)、Q12 = (x1, y2), Q21 = (x2, y1) 以及 Q22 = (x2, y2) 四个点的值。

2.1原理

　　在图像的仿射变换中，很多地方需要用到插值运算，常见的插值运算包括最邻近插值，双线性插值，双三次插值，兰索思插值等方法，OpenCV提供了很多方法，其中，双线性插值由于折中的插值效果和运算速度，运用比较广泛。 
　　越是简单的模型越适合用来举例子，我们就举个简单的图像：3*3 的256级灰度图。假如图像的象素矩阵如下图所示（这个原始图把它叫做源图，Source）： 
234 38 22 
67 44 12 
89 65 63 
　　这 个矩阵中，元素坐标(x,y)是这样确定的，x从左到右，从0开始，y从上到下，也是从零开始，这是图象处理中最常用的坐标系。 
　　如果想把这副图放大为 4*4大小的图像，那么该怎么做呢？那么第一步肯定想到的是先把4*4的矩阵先画出来再说，好了矩阵画出来了，如下所示，当然，矩阵的每个像素都是未知数，等待着我们去填充（这个将要被填充的图的叫做目标图,Destination）： 
　　? ? ? ? 
　　? ? ? ? 
　　? ? ? ? 
　　? ? ? ? 
　　然后要往这个空的矩阵里面填值了，要填的值从哪里来来呢？是从源图中来，好，先填写目标图最左上角的象素，坐标为（0，0），那么该坐标对应源图中的坐标可以由如下公式得出srcX=dstX* (srcWidth/dstWidth) , srcY = dstY * (srcHeight/dstHeight) 
　　好了，套用公式，就可以找到对应的原图的坐标了(0*(3/4),0*(3/4))=>(0*0.75,0*0.75)=>(0,0)，找到了源图的对应坐标,就可以把源图中坐标为(0,0)处的234象素值填进去目标图的(0,0)这个位置了。 
　　接下来,如法炮制,寻找目标图中坐标为(1,0)的象素对应源图中的坐标,套用公式: 
(1*0.75,0*0.75)=>(0.75,0) 结果发现,得到的坐标里面竟然有小数,这可怎么办?计算机里的图像可是数字图像,象素就是最小单位了,象素的坐标都是整数,从来没有小数坐标。这时候采用的一种策略就是采用四舍五入的方法（也可以采用直接舍掉小数位的方法），把非整数坐标转换成整数，好，那么按照四舍五入的方法就得到坐标（1，0），完整的运算过程就是这样的：(1*0.75,0*0.75)=>(0.75,0)=>(1,0) 那么就可以再填一个象素到目标矩阵中了，同样是把源图中坐标为(1,0)处的像素值38填入目标图中的坐标。 
　　依次填完每个象素，一幅放大后的图像就诞生了，像素矩阵如下所示： 
　　234 38 22 22 
　　67 44 12 12 
　　89 65 63 63 
　　89 65 63 63 
　　这种放大图像的方法叫做最临近插值算法，这是一种最基本、最简单的图像缩放算法，效果也是最不好的，放大后的图像有很严重的马赛克，缩小后的图像有很严重的失真；效果不好的根源就是其简单的最临近插值方法引入了严重的图像失真，比如，当由目标图的坐标反推得到的源图的的坐标是一个浮点数的时候，采用了四舍五入的方法，直接采用了和这个浮点数最接近的象素的值，这种方法是很不科学的，当推得坐标值为 0.75的时候，不应该就简单的取为1，既然是0.75，比1要小0.25 ，比0要大0.75 ,那么目标象素值其实应该根据这个源图中虚拟的点四周的四个真实的点来按照一定的规律计算出来的，这样才能达到更好的缩放效果。 
　　双线型内插值算法就是一种比较好的图像缩放算法，它充分的利用了源图中虚拟点四周的四个真实存在的像素值来共同决定目标图中的一个像素值，因此缩放效果比简单的最邻近插值要好很多。 
双线性内插值算法描述如下: 
　　对于一个目的像素，设置坐标通过反向变换得到的浮点坐标为(i+u,j+v) (其中i、j均为浮点坐标的整数部分，u、v为浮点坐标的小数部分，是取值[0,1)区间的浮点数)，则这个像素得值 f(i+u,j+v) 可由原图像中坐标为 (i,j)、(i+1,j)、(i,j+1)、(i+1,j+1)所对应的周围四个像素的值决定，即：f(i+u,j+v) = (1-u)(1-v)f(i,j) + (1-u)vf(i,j+1) + u(1-v)f(i+1,j) + uvf(i+1,j+1) 
其中f(i,j)表示源图像(i,j)处的的像素值，以此类推。 
　　比如，象刚才的例子，现在假如目标图的象素坐标为（1，1），那么反推得到的对应于源图的坐标是（0.75 , 0.75）, 这其实只是一个概念上的虚拟象素,实际在源图中并不存在这样一个象素,那么目标图的象素（1，1）的取值不能够由这个虚拟象素来决定，而只能由源图的这四个象素共同决定：（0，0）（0，1）（1，0）（1，1），而由于（0.75,0.75）离（1，1）要更近一些，那么（1,1）所起的决定作用更大一些，这从公式1中的系数uv=0.75×0.75就可以体现出来，而（0.75,0.75）离（0，0）最远，所以（0，0）所起的决定作用就要小一些，公式中系数为(1-u)(1-v)=0.25×0.25也体现出了这一特点。

2.2计算方法

 
　首先，在X方向上进行两次线性插值计算，然后在Y方向上进行一次插值计算。 
　
在图像处理的时候，我们先根据 
　　srcX=dstX* (srcWidth/dstWidth), 
　　srcY = dstY * (srcHeight/dstHeight) 
来计算目标像素在源图像中的位置，这里计算的srcX和srcY一般都是浮点数，比如f（1.2, 3.4）这个像素点是虚拟存在的，先找到与它临近的四个实际存在的像素点 
　　（1，3） （2，3） 
　　（1，4） （2，4） 
写成f(i+u,j+v)的形式，则u=0.2,v=0.4, i=1, j=3 
在沿着X方向差插值时，f(R1)=u(f(Q21)-f(Q11))+f(Q11) 
沿着Y方向同理计算。 
或者，直接整理一步计算， 
f(i+u,j+v) = (1-u)(1-v)f(i,j) + (1-u)vf(i,j+1) + u(1-v)f(i+1,j) + uvf(i+1,j+1)

2.3加速以及优化策略

　单纯按照上文实现的插值算法只能勉强完成插值的功能，速度和效果都不会理想，在具体代码实现的时候有些小技巧。参考OpenCV源码以及网上博客整理如下两点： 
源图像和目标图像几何中心的对齐。 
将浮点运算转换成整数运算

2.3.1 源图像和目标图像几何中心的对齐　　

　方法：在计算源图像的虚拟浮点坐标的时候，一般情况： 
　　srcX=dstX* (srcWidth/dstWidth) , 
　　srcY = dstY * (srcHeight/dstHeight) 
　　中心对齐(OpenCV也是如此)： 
　　SrcX=(dstX+0.5)* (srcWidth/dstWidth) -0.5 
　　SrcY=(dstY+0.5) * (srcHeight/dstHeight)-0.5 
　　原理： 
双线性插值算法及需要注意事项这篇博客解释说“如果选择右上角为原点（0，0），那么最右边和最下边的像素实际上并没有参与计算，而且目标图像的每个像素点计算出的灰度值也相对于源图像偏左偏上。”我有点保持疑问。 
　　将公式变形: 
　　srcX=dstX* (srcWidth/dstWidth)+0.5*(srcWidth/dstWidth-1) 
　　相当于我们在原始的浮点坐标上加上了0.5*(srcWidth/dstWidth-1)这样一个控制因子，这项的符号可正可负，与srcWidth/dstWidth的比值也就是当前插值是扩大还是缩小图像有关，有什么作用呢？看一个例子：假设源图像是3*3，中心点坐标（1，1）目标图像是9*9，中心点坐标（4，4），我们在进行插值映射的时候，尽可能希望均匀的用到源图像的像素信息，最直观的就是（4,4）映射到（1,1）现在直接计算srcX=4*3/9=1.3333！=1，也就是我们在插值的时候所利用的像素集中在图像的右下方，而不是均匀分布整个图像。现在考虑中心点对齐，srcX=(4+0.5)*3/9-0.5=1，刚好满足我们的要求。

2.3.2 将浮点运算转换成整数运算

　　参考图像处理界双线性插值算法的优化 
　　直接进行计算的话，由于计算的srcX和srcY 都是浮点数，后续会进行大量的乘法，而图像数据量又大，速度不会理想，解决思路是： 
　　浮点运算→→整数运算→→”<<左右移按位运算”。 
　　放大的主要对象是u，v这些浮点数，OpenCV选择的放大倍数是2048“如何取这个合适的放大倍数呢，要从三个方面考虑， 
　　第一：精度问题，如果这个数取得过小，那么经过计算后可能会导致结果出现较大的误差。 
　　第二，这个数不能太大，太大会导致计算过程超过长整形所能表达的范围。 
　　第三：速度考虑。假如放大倍数取为12，那么算式在最后的结果中应该需要除以12*12=144，但是如果取为16，则最后的除数为16*16=256，这个数字好，我们可以用右移来实现，而右移要比普通的整除快多了。”我们利用左移11位操作就可以达到放大目的。

参考链接 https://blog.****.net/qq_37577735/article/details/80041586#4%E4%BB%A3%E7%A0%81

 

3. 双三次插值

双三次插值是一种更加复杂的插值方式，它能创造出比双线性插值更平滑的图像边缘。双三次插值方法通常运用在一部分图像处理软件、打印机驱动程序和数码相机中，对原图像或原图像的某些区域进行放大。Adobe Photoshop CS 更为用户提供了两种不同的双三次插值方法：双三次插值平滑化和双三次插值锐化。

在数值分析这个数学分支中，双三次插值（英语：Bicubic interpolation）是二维空间中最常用的插值方法。在这种方法中，函数f在点 (x,y) 的值可以通过矩形网格中最近的十六个采样点的加权平均得到，在这里需要使用两个多项式插值三次函数，每个方向使用一个。

双三次插值又叫双立方插值，用于在图像中“插值”（Interpolating）或增加“像素”（Pixel）数量/密度的一种方法。通常利用插值技术增加图形数据，以便在它打印或其他形式输出的时候，能够增大打印面积以及（或者）分辨率。

目前有不同的插值技术可供选用。双立方插值通常能产生效果最好，最精确的插补图形，但它速度也几乎是最慢的。“双线性插值”（Bilinear interpolation）的速度则要快一些，但没有前者精确。在商业性图像编辑软件中，经常采用的是速度最快，但也是最不准确的“最近相邻”（Nearest Neighbor）插值。其他一些插值技术通常只在高档或单独应用的程序中出现。

显然，无论技术多么高级，插补过的数据肯定没有原始数据准确。这意味着对一个图形文件进行插值处理后，虽然文件长度增加了（数据量增大），但不会有原先那幅图锐利，可能会在图形质量上打折扣。

双三次插值通过下式进行计算：[1] 

或者用一种更加紧凑的形式，

计算系数

的过程依赖于插值数据的特性。如果已知插值函数的导数，常用的方法就是使用四个顶点的高度以及每个顶点的三个导数。一阶导数

与

表示 x 与 y 方向的表面斜率，二阶相互导数

表示同时在 x 与 y 方向的斜率。这些值可以通过分别连续对 x 与 y 向量取微分得到。对于网格单元的每个顶点，将局部坐标（0,0, 1,0, 0,1 和 1,1) 带入这些方程，再解这 16 个方程。

今天学习了第三种图像缩放的方法，双三次插值法。由于理解能力比较差，看了好久的公式，还是云里雾里，但是为了督促自己学习，还是把已知的部分记录下来。

数学原理

*的解释

假设源图像A大小为m*n，缩放后的目标图像B的大小为M*N。那么根据比例我们可以得到B(X,Y)在A上的的 
对应坐标为A(x,y)=A(X*(m/M),Y*(n/N))。在双线性插值法中，我们选取A(x,y)的最近四个点。而在双立方 
插值法中，我们选取的是最近的16个像素点作为计算目标图像B(X,Y)处像素值的参数。如图所示：

如图所示P点就是目标图像B在(X,Y)处对应于源图像中的位置，P的坐标位置会出现小数部分，所以我们假设 
P的坐标为P(x+u,y+v)，其中x,y分别表示整数部分，u,v分别表示小数部分。那么我们就可以得到如图所示的 
最近16个像素的位置，在这里用a(i,j)(i,j=0,1,2,3)来表示。 
双立方插值的目的就是通过找到一种关系，或者说系数，可以把这16个像素对于P处像素值得影响因子找出 
来，从而根据这个影响因子来获得目标图像对应点的像素值，达到图像缩放的目的。 
我在这次的学习中学习的是基于BiCubic基函数的双三次插值法，BiCubic基函数形式如下：

参考这里的博客

我们要做的就是求出BiCubic函数中的参数x,从而获得上面所说的16个像素所对应的系数。在学习双线性插 
值法的时候，我们是把图像的行和列分开来理解的，那么在这里，我们也用这种方法描述如何求出a(i,j)对应 
的系数k_ij。假设行系数为k_i,列系数为k_j。我们以a00位置为例： 
首先，我们要求出当前像素与P点的位置，比如a00距离P(x+u,y+v)的距离为(1+u,1+v)。 
那么我们可以得到：k_i_0=W(1+u),k_j_0=W(1+v). 
同理我们可以得到所有行和列对应的系数：

k_i_0=W(1+u), k_i_1=W(u), k__i_2=W(1-u), k_i_3=W(2-u); 
k_j_0=W(1+v), k_j_1=W(v), k_j_2=W(1-v), k_j_3=W(2-v);

这样我们就分别得到了行和列方向上的系数。 
由k_i_j=k_i*k_j我们就可以得到每个像素a(i,j)对应的权值了。

最后通过求和公式可以得到目标图片B(X,Y)对应的像素值： 
pixelB(X,Y)=pixelA(0,0)*k_0_0+pixelA(0,1)*k_0_1+…+pixelA(3,3)*k_3_3; 
这里其实就是个求和公式，由于不知道怎么编辑公式，就这样表达了。

转自 博客