HEMlets Pose: Learning Part-Centric Heatmap Triplets for Accurate 3D Human Pose Estimation,ICCV 2019
摘要:提出部件-中心-热图 三元组,构建空间体积,再用积分的方式实现端到端训练。
介绍:三个挑战(1)从图像推到3D pose的歧义性问题(2)针对回归问题,已有的方法,没有很好的平衡,人体表示与学习效率的关系(3)室外场景训练数据匮乏。
本文的提出的部件-中心热图三元组,将人体部件周围的体积空间极化,每个部件有两个关节点连接。其实,就是简单的一个2D heatmap的一张热图变成三张热图。
方法:
1. HEMlets
一个关节点的一张热图变三张热图,代表前后次序
2. 2D loss, 一般2D pose estimation的方法
3.soft-argmax 从三维空间中或获取坐标,再用L2
实验部分:
个人总结:
1.从方法上看并没有什么新颖的地方,结果上看效果很显著
2.可能的原因是:(1)做了数据增广 (2)可用2D 数据集训练,导致2D pose作为输入的准确性更高
3.pose的空间表示,更加soft,有可能用到了关节点之间的方向信息。