human-to-robot handover记录

1、Human Grasp Classification for Reactive Human-to-Robot Handovers
NVIDIA在2020年发布在arxiv(2003.06000)上的论文。
将人抓取物体的手的姿势分成七类,通过PointNet++来预测人手姿势的类别,每一种类别对应一种抓取姿态。通过点云识别到人手姿态的类别后,通过一个 操作-状态 对应表,进行抓取规划。为了训练手势分类网络,拍摄了151551张点云图像。
整个流程概括如下:检测手姿态->规划抓取路径->机械臂驱动末端执行器运动到待抓取位姿->抓取->放置到桌子上。
human-to-robot handover记录
测试结果如下图:planning success rate表示上面流程中的“机械臂驱动末端执行器运动到待抓取位姿”;Grasp Success Rate表示“抓取”;Action 运行时间表示从“规划抓取路径”到放到桌子上;Total运行时间除了包括Action的时间还包括重新规划时间(人手可能运动);Trial时间表示整个流程的时间。
human-to-robot handover记录
缺点:
只测试了机器人从人手中抓取方块,形状复杂的物体没有实验。当物体形状改变时,流程中“规划抓取路径”几乎不起作用。机器人从手中抓取真的需要检测人手的姿态吗?
human-to-robot handover记录

2、未完待续