HEMlets Pose: Learning Part-Centric Heatmap Triplets for Accurate 3D Human Pose Estimation,ICCV 2019

摘要:提出部件-中心-热图 三元组,构建空间体积,再用积分的方式实现端到端训练。

介绍:三个挑战(1)从图像推到3D pose的歧义性问题(2)针对回归问题,已有的方法,没有很好的平衡,人体表示与学习效率的关系(3)室外场景训练数据匮乏。

本文的提出的部件-中心热图三元组,将人体部件周围的体积空间极化,每个部件有两个关节点连接。其实,就是简单的一个2D heatmap的一张热图变成三张热图。

方法:

HEMlets Pose: Learning Part-Centric Heatmap Triplets for Accurate 3D Human Pose Estimation,ICCV 2019

1. HEMlets

一个关节点的一张热图变三张热图,代表前后次序

HEMlets Pose: Learning Part-Centric Heatmap Triplets for Accurate 3D Human Pose Estimation,ICCV 2019

2. 2D loss, 一般2D pose estimation的方法

HEMlets Pose: Learning Part-Centric Heatmap Triplets for Accurate 3D Human Pose Estimation,ICCV 2019

3.soft-argmax 从三维空间中或获取坐标,再用L2

HEMlets Pose: Learning Part-Centric Heatmap Triplets for Accurate 3D Human Pose Estimation,ICCV 2019

HEMlets Pose: Learning Part-Centric Heatmap Triplets for Accurate 3D Human Pose Estimation,ICCV 2019

实验部分:

HEMlets Pose: Learning Part-Centric Heatmap Triplets for Accurate 3D Human Pose Estimation,ICCV 2019

 

个人总结:

1.从方法上看并没有什么新颖的地方,结果上看效果很显著

2.可能的原因是:(1)做了数据增广 (2)可用2D 数据集训练,导致2D pose作为输入的准确性更高

3.pose的空间表示,更加soft,有可能用到了关节点之间的方向信息。