论文阅读《Learning for Disparity Estimation through Feature Constancy》

网络结构：（主要是对CRL的改进）

 

主要贡献：

1 将立体匹配的所有步骤合并到一个网络来改善准确性和有效性

2 使用特征恒量的用于视差优化的子网络

 

三个阶段：特征提取-> 代价计算、聚合和视差估计-> 计算特征恒量用于最后视差调优

特征恒量：特征相关和重构误差  紫色块和红色块

前面紫色块：粗略的较大范围的一致性

后面紫色块：精细的较小范围的一致性

（correlation layer：相关的计算等价于匹配代价，相关值越低匹配代价越高）

 

流程：

1  输入图像先提取多尺度的特征，左右图像的共享权重提取的特征用于视差估计和视差调优。        

2  correlation layer且级联左图特征，希望提供低级语义信息，视差估计采用了encoder-decoder结构，采取了一些跳跃连接。

[绿色块为初始视差估计，初始视差图会存在深度不连续获取异常点]

 

3  用特征恒量进行调优：特征恒量是在不同视差左右特征的一致性，正确的视差会得到较大的相关结果。重建损失是根据初始视差图，将右图warp到左图，合成的左图和原左图计算一个误差，误差越大则初始视差估计越大。

初始视差 + 重建视差 + 左图特征 先级联特征相关，再加上绿色的初始视差估计得到最终的视差结果。

可多次迭代利用好视差优化模块，结合残差和初始视差得到的最终视差作为下一次迭代的初始视差，送入网络再次调优。