三维目标识别、三维特征研究现状

最近在做零件识别与定位,基于深度图。整理一下基本概念
网上还没有较详细的博客,写一波通俗易懂的。。。

1、什么是binpicking?
如图:深度设备获取场景点云,在场景点云中寻找目标点云,完成识别和定位后,返回R,T,指导机械臂完成抓取:
三维目标识别、三维特征研究现状
2、基于模型的识别
基于模型的识别假设利用3D对象模型通过评估存储在计算机中的模型与映射3D外部世界的(部分)输入数据之间的一致性来识别目标对象。
如图:
三维目标识别、三维特征研究现状
2.1 基于关键点的识别
基于关键点的方法从表示为点云的模型中选择符合特定策略的3D点(关键点)和用于匹配模型数据和输入数据的输入数据,以相互比较表示其点的3D特征像局部形状的特征。
如图:
三维目标识别、三维特征研究现状
2.2基于非关键点的识别
非关键点方法是将整个距离数据从单个视点转换为特征

3、三维特征
大部分特征的计算都是基于法向量等表示三维曲面形状的值。
目前提出的许多三维特征方法可以分为两种类型,一种描述关键点周围的特征;另一种描述2点或3点之间的位置,或法向量之间的关系。
三维目标识别、三维特征研究现状
3.1关键点周围信息描述
在此以pcl经典案例PFH描述子、SHOT描述子为例

PFH:
三维目标识别、三维特征研究现状
从关键点和球面范围内的k个接近点中选择大量点对,并根据每个点的法向量计算角度等参数。(此文是介绍性质的,不做过多原理解释,若要详细了解PFH原理,我后续会更新博客详细讲解)

SHOT:
方向直方图(SHOT)特征[36]利用法向量。如图5所示,围绕关键点的球形区域被划分为32个区域,并且法线矢量云与各个区间的关键点法线之间的关系被转换为直方图作为内积,并且导出352维特征。(此文是介绍性质的,不做过多原理解释,若要详细了解原理,我后续会更新博客详细讲解)**

三维目标识别、三维特征研究现状
3.2 多点特征描述
这种特征描述了两点或三点之间的几何关系。
这里就不得不提到 Drost 的经典算法点对特征:PPF(2010-CVPR)
我后续会更新这篇文章的详细说明:Modal Globally ,Match Locally。
三维目标识别、三维特征研究现状
总得来说,就是建立点对之间的关系(四维特征向量F),对模型进行描述,存储在哈希表中,以F为索引。在对场景进行点对特征描述,根据相似的F,利用投票机制,位姿聚类。

试验效果是很好的:

三维目标识别、三维特征研究现状
图一:待识别模型
三维目标识别、三维特征研究现状
图二:场景点云

三维目标识别、三维特征研究现状
图三:匹配结果

3.3两类特征比较
我们将从以下三个方面对前几节中讨论的两种代表性的特征云进行比较。

  1. 从关键点所具有的同一性来看,由于其高维性,镜头特征的唯一性较高,假匹配性较低。然而,PPF通过对相应的点对参数进行投票,成功地改进了上述问题。
  2. 在重复性方面,它更容易受到法向量计算精度的影响,而不是理论倾斜度的影响。此外,由于采用了表示统计量的直方图,因此在零星噪声中具有较强的鲁棒性和较高的重复性。
  3. 用于匹配的关键点数量会影响处理时间和可靠性。当特征标识较高时,可以使用较少的点,但是如果在识别批量加载部件时预期会出现遮挡,则需要使用更多的点。此外,可观测性、是否完成对输入数据中特征点的观测,影响着点个数的确定。

欢迎关注!欢迎交流!