文献记录《Light Field Stitching for Extended Synthetic Aperture》

      这篇文章提到了发表在这篇文章之前的几篇关于光场拼接的论文，《Panorama Light-Field Imaging》这篇文章是将双平面式光场投影到一个圆柱坐标系统上，这个方法比较受光场间方向运动的限制，需要相机围绕角点进行旋转，需要将相机固定在一个三脚架上，且相机焦点必须与旋转中心精确对准。《Enhancing Light Fields through Ray-Space Stitching 》这篇论文将光线转化到普吕克坐标系下，计算一个5*6的旋转矩阵，提取子孔径图像之间的sift特征来对应光线，但是这种方法需要两个光场之间有较大的重叠来获取足够对应的光线，而且有些对应的光线可能并不是很精准由于欠采样，这种方法的缺点是计算量太大。另一篇文章《A linear approach to motion estimation using generalized camera models 》也用到了SIFT方法来确定对应光线.而这篇文章采用对极几何来配准光场。就这几篇文章来看，光场拼接一般分为两步：1.光场配准（light field registration）2.光场拼接。

     这篇文章分为预处理，光场配准，光场拼接，结果展示

     一丶预处理

  （1）Vignetting correction

            方法：5*5  标准偏差0.6的高斯滤波  并利用直方图映射匹配中间视角光场子孔径图像的颜色。

  （2）Image center correction

EPI（epipolar plane image ）包括一个大于90度的斜线，这条斜线为90度是表示光场聚焦在最远处焦平面

 

 二丶光场配准

   光场配准包括correction和stitching。

（1）校正子孔径图像

        1.方向校正

             

                我们通过KLT（Kanade-Lucas-Tomasi ）算法匹配两个光场中间子孔径图像的特征，计算变换矩阵。计算出转换矩阵之后将转换矩阵应用于各个子孔径图像。

  第一个光场表示，第二个光场表示，然后我们使用RANSAC算法剔除错误匹配点满足基础矩阵方程  F就是基础矩阵基础矩阵（矩阵计算篇幅较长，可查阅论文）

  2.尺度估计

      方向校正之后，就是z轴方向上的移动，使第一和第二光场对齐到一个平面上。

    光场内的尺度估计：基于两个相邻的连续的子孔径图像之间的特征，我们使用KLT算法来获得特征匹配，为获得精准的估计，我们需利用同一深度的特征。距离直方图表示了   同一深度的数量，我们根据Silhoutte 标准通过拟合混合高斯分布来提取深度点集。根据点到点集中心的欧氏距离来分配集群。

我们使用最深处点集群。我们使用相似性（类似于相似三角形，个人理解）来计算两个子孔径图像之间的尺度

光场之间的尺度估计：将上述步骤得到计算两个光场重心子孔径图像之间来计算两个光场子孔径图像之间的尺度差距。

（2）光场拼接

上一步的校正和尺度估计就可以配准每一个子孔径图像。但是转换之后的子孔径图像分布不是规则的网格，为了获得规则光场网格，我们需要插值，我们使用Delaunay三角形来插值

即为我们所要估计的网格位置子孔径图像，如果他的位置和位置相同，则该子孔径图像即为，否则我们利用以下加权子孔径图像公式进行插值：

三丶结果展示