3D【4】人脸重建:Large Pose 3D Face Reconstruction from a Single Image via Direct Volumetric

该论文主要是用CNN直接重建3D人脸,而不是预测3DMM模型的参数,网络结构是漏斗网络(
HG)。论文提出了三种方案,第一种是直接从图片重建,第二种是加入了人脸特征点,第三种是多任务(重建+人脸特征点预测)。效果最好的是第二种方法。

值得注意的是,该论文不是直接预测顶点的x、y、z坐标。而是将mesh转成voxel,变成一个192*192*200的矩阵。这样就比较适合CNN。我们先看看mesh和voxel的区别:下面的第一张图是mesh,可以看出就是一个曲面;第二张是voxel,可以看出人脸是由很多个立方体构成的。
3D【4】人脸重建:Large Pose 3D Face Reconstruction from a Single Image via Direct Volumetric

3D【4】人脸重建:Large Pose 3D Face Reconstruction from a Single Image via Direct Volumetric

作者给出了voxel转成obj的脚本,运行出来是这样的:
3D【4】人脸重建:Large Pose 3D Face Reconstruction from a Single Image via Direct Volumetric
这是一个封闭的曲面。这就有个问题了,由CNN预测出来的3D人脸的顶点是不固定的,也就是我们还需要进行一步对齐,将一个固定顶点的模板对齐到CNN预测出来的3D人脸。
mesh转voxel可以用binvox这个工具。