(3D-HPE)Learning to Estimate 3D Human Pose and Shape from a Single Color Image

Learning to Estimate 3D Human Pose and Shape from a Single Color Image（CVPR2018）

本文解决的问题是 从单幅彩色图片估计人的全身3D姿态和体型（pose & shape）

在end-to-end网络中加入了SMPL模型。这样仅需很少的参数就可以得到详细的3D网格结果。文章也说明了，可以从2D的关节点和掩膜（masks）得到这些参数。这样就不需要很多的3D shape ground truth。同时在网络训练时候，从估计的参数生成3D mesh，并且使用3D per-vertex loss 来优化surface。最后，通过一个可微的模块（a differentiable renderer）将3D mesh投影到图片，这样可以进行后续的fine操作，用来优化与2D标签（2D 关键点， 人体掩膜）的一致性。

3D per-vertex loss

由于函数是可微的，我们可以通过它反向传播将图中的Mesh Generator当做网络的一层，而不需要训练参数；将预测得到的网格顶点值（mesh vertices） 和对应的真值 。

如果重点放在了pose估计，我们也可以仅根据3D关节点, 这些点可以根据网格顶点的线性组合得到。对应的loss为：

Differentiable renderer

分别 对应的是轮廓和2D关节点。