多任务——数据构建
- 《Hand2Face：Automatic Synthesis and Recognition of Hand Over Face Occlusions》
要解决的问题：自动合成手遮脸的数据（2017）
创新点：提出了一种新颖的框架对于合成自然状态下的手遮脸数据，减少了数据收集和处理的昂贵过程。
1.前期准备工作：人工收集和整理手遮挡和无遮挡正常人脸数据，使用交互式Grabcut进行分割手部区域从遮挡数据。
《“Grab Cut”-Interactive Foreground Extraction using Iterated Graph Cuts》opencv中已实现
2.姿态和方向对齐：根据手遮挡的原图姿态，去没有遮挡的数据库中查找yaw，roll和pitch相匹配的人脸，并从top10中随机选择一张图片。
3.尺度变化：根据人脸的尺寸来调整遮挡物体的尺寸。
4.颜色修正：手和脸的颜色应大致相同，可根据人脸图像每个通道的均值和标准差来修改手遮挡的颜色。
5.图像质量：约束手遮挡和脸部图像具有同样的清晰度。
6.人脸区域编码：将人脸分成11个区域，代表人脸主要的部位，来选择遮挡物体所放置的位置。编码基于人脸的关键点。适当的增加高斯噪声，可以更加鲁棒。