Combining Implicit Function Learning and Parametric Models for 3D Human Reconstruction

ECCV 2020的内容，属于几何深度学习，同时隶属于当下火热的方法隐式函数,下文是本篇论文的读书笔记。

文献一开始提出了隐式函数在进行生成的时候的缺点:

（1）生成的物体表面是静态的

（2）模型的表面不能进行编辑

作者提出的方法结合了隐式函数对模型细节的表达能力+对模型参数化的表达从而去重建人体的三维模型。（让surface与相应的语义对应）

本篇paper的核心目标: In this paper, we focus on the reconstruction of human models from sparse or incomplete point clouds, as captured by body scanners or depth cameras. In particular, we focus on extracting detailed 3D representations, including models of the underlying body shape and clothing, in order to make it possible to seamlessly re-pose and re-shape (control ) the resulting dressed human models.（贴了一段原文的话）

总的来说就是对人体模型的重建，包括人物的衣服也会一同的重建。接下来，作者自定义了两个词语，将一般利用隐式函数进行物体表面重建的称为重建(reconstruction)，将自己的方法称为匹配或者配准(registration)。作者特别申明，配准工作包括了重建和配准。

本篇论文的key idea: 利用参数化的表达方法 结合 隐式函数的细节表达能力去重建人体的三维模型，包括衣服，头发等细节内容。其中，参数化的方法是三维人体建模的一种经典方法，允许通过参数的变化去控制模型的变化，但是当和点云表达方式相结合的时候，有一个很大的难点就是点云模型回归的参数不够准确。

contribution:

1) 提出了一种结合隐式场和参数化建模的方法去建立高质量的人物模型

2) 第一个联合分析人物和衣服进行建模的方法

3）测试里人物模型和手模型，证明了这种方法可以被广泛应用

                                                                                                                       图1. 论文中提到的pipeline

如上述图1所示，输入的是，即稀疏的点云模型。经过IP-NET的encoder产生了的隐式表达方式，之后经过IP-NET的分类器，产生属于该的类别。之后使用occupancy的分类器去评判这个属于body, body和clothe直之间，或者out of clothe三种情况，之后去预测一个完整的模型。

Andrew Wu说过读完一篇论文之后要总结出对自己有用的地方，这里我也总结一下，虽然和我做的方向有一丝偏差。

1.从可视化的效果上来看，隐式函数是一种非常好的方法，对于深度几何学习的提升非常的好。

2.对一个模型的特征进行细化可以提升效果。

3.作者提供了一个传统几何方法和现在的深度学习的几何方法结合的一种方式，利用两者的优势去构建精细的模型。