2DASL:目前最好的开源人脸3D重建与密集对齐算法

点击我爱计算机视觉标星或置顶,更快获取CVML新技术


之前52CV曾经报道过PRNet:人脸3D重建与密集对齐其结果非常惊艳,在很多人脸应用中都有用武之地。

最近同样专注于3D人脸重建与密集对齐的算法2DASL开源了,其评测精度比PRNet又更胜一筹!

该算法来自论文《Joint 3D Face Reconstruction and Dense Face Alignment from A Single Image with 2D-Assisted Self-Supervised Learning》:

2DASL:目前最好的开源人脸3D重建与密集对齐算法

作者分别来自:电子科技大学、新加坡国立大学、国防科技大学、中科大、中科院自动化所。

下图为论文中对齐的结果和3D重建结果示例:

2DASL:目前最好的开源人脸3D重建与密集对齐算法

算法原理图:

2DASL:目前最好的开源人脸3D重建与密集对齐算法

在3D人脸对齐方面该算法取得了目前的最高精度,超越PRNet。如下图:

2DASL:目前最好的开源人脸3D重建与密集对齐算法

在一些极端的例子中,该算法的对齐效果依然很好。

2DASL:目前最好的开源人脸3D重建与密集对齐算法

2DASL:目前最好的开源人脸3D重建与密集对齐算法

在人脸3D重建方面,与以前算法相比也取得了高质量的重建结果。如下图:

2DASL:目前最好的开源人脸3D重建与密集对齐算法

下面三张gif图为作者给出的动态演示,可以看出3D特征点定位、重建结果、密集对齐结果都非常稳定。

2DASL:目前最好的开源人脸3D重建与密集对齐算法

2DASL:目前最好的开源人脸3D重建与密集对齐算法

2DASL:目前最好的开源人脸3D重建与密集对齐算法

下面三幅图为该算法被用于视频换脸的效果,作者在这里没有特别处理皮肤的融合,但贴合度还是很高的。

2DASL:目前最好的开源人脸3D重建与密集对齐算法2DASL:目前最好的开源人脸3D重建与密集对齐算法

2DASL:目前最好的开源人脸3D重建与密集对齐算法

下面两幅图为使用该算法进行表情迁移的效果:

2DASL:目前最好的开源人脸3D重建与密集对齐算法2DASL:目前最好的开源人脸3D重建与密集对齐算法

CV君没看到计算时间的说明,大家可以下载代码实验下看看。

论文地址:

https://arxiv.org/pdf/1903.09359.pdf

代码地址:

https://github.com/XgTu/2DASL

目前该库仅放出了测试代码,作者称等论文被接收之后会放出训练代码。

感谢作者的分享~

加入专业交流群

关注人脸对齐、人脸重建、人脸识别相关技术,欢迎加入52CV-人脸相关交流群,下方扫码CV君拉你入群,验证信息请务必注明:人脸(不然不会通过好友验证)。

2DASL:目前最好的开源人脸3D重建与密集对齐算法

喜欢在QQ交流的童鞋可以加52CV官方QQ群:702781905

(不会时时在线,如果没能及时通过还请见谅)


2DASL:目前最好的开源人脸3D重建与密集对齐算法

长按关注我爱计算机视觉

麻烦给我一个“在看”