ReDA: Reinforced Differentiable Attribute for 3D Face Reconstruction

创新点：

1、针对3D人脸重建渲染成图片的约束只有2d image 的 color 属性问题，扩充为color + depth + face_parsing_mask
2、针对使用Z-buffer渲染（在cnn中不属于真正的可微分渲染）问题，提出使用CNN的操作实现soft differentiable rendering
3、针对使用3DMM作为coarse model 的问题，提出加入shape 残差，形成 free-from deformation

方法实现：

fig2展示了整体算法的流程，其中创新点free-form deformation展示在 Δ \Delta ΔS 的生成(free-form deformation), loss 约束加入了 L A R A P L_{ARAP} LARAP​ + R L − R m R_{L} - R_{m} RL​−Rm​;

fig3 展示了ReDA渲染，其中包含了较复杂的 face_parrsing_mask + color + depth； 以及在不同mesh slice中的 L 1 L_{1} L1​ loss约束

需检查

1、文中mean shape 是使用3DMM生成的， 所以vertex number应该是 5W 点
2、文中没有展示大角度的mesh shape