针对散乱堆叠状态且具有可抓取平面物体的识别、定位及抓取方法技术

本发明专利技术提出一种针对散乱堆叠状态且具有可抓取平面物体的识别、定位及抓取方法，通过双目结构光相机的数据采集、基于滑动窗口的局部图像块截取及数据增强处理，为后续系统深度学习所涉及的各类卷积神经网络提供必要的训练及测试样本；以此样本为基础，搭建并训练三个卷积神经网络；前述得到的深度学习网络可较好地实现视觉场景中全部待抓取物体的识别，并为惯常吸盘手爪位姿估计所涉及的三维点云配准操作提供合理的可抓取区域匹配推荐；此外，所发明专利技术的方法还可通过在三维点云环境中对可抓取平面是否被遮挡进行再判断，来减少对具有小部分面被遮挡物体的误识别，以此来最终确定各待抓取物体的优先抓取顺序，确保吸盘手爪的抓取成功率。抓取成功率。抓取成功率。

【技术实现步骤摘要】
针对散乱堆叠状态且具有可抓取平面物体的识别、定位及抓取方法


[0001]本专利技术属于物体识别与定位
，尤其涉及一种针对散乱堆叠状态且具有可抓取平面物体的识别、定位及抓取方法。

技术介绍

[0002]随着制造业的智能化水平不断提高。相较于全程使用人工生产，由机器人代替人工完成部分生产工序可有效提高生产效率、降低生产成本。智能分拣是制造业提升智能化水平的重要方向之一，而其中对于待抓取物体的智能识别与定位的准确与否将直接影响后续机器人抓取的成功率，是智能分拣作业的重点环节。
[0003]早期进行机器人
‑
工业化分拣操作时，往往要求待抓取物体被有序、逐个、精确地传送到指定位置，抓取方式由技术人员通过人工示教完成。不过这种方式中的机器人智能化水平较低，仅仅只是在不断重复执行预先示教的路径，无法实现一类散乱堆叠放置物体的精确识别与抓取。为了提高机器人的智能化水平，采用机器视觉技术为机器人提供外界信息，使其对外界不同位姿物体具备精确的识别与定位能力，从而实现有效抓取。工程上，对于那些具有可抓取平面的偏薄状物体，人们常优先选用吸盘手爪对其进行气动吸附抓取，而对于手爪的位姿估计则广泛使用基于机器视觉技术的三维点云匹配法，以确认抓取位姿。对于复杂场景下的点云配准，实际上是场景中的多个局部点云分别与预先获得的点云模板进行配准，其难点在于如何获取合适的局部点云进行配准。局部点云的选取通常采用三维局部描述子在模板上生成特征点以及特征点对应的特征，如SHOT、Spin Image、FPFH等方法，在场景中通过局部特征描述子对场景点云提取特征，按照提取的特征寻找场景中特征点，根据特征点提取局部点云进行配准。不过值得一提的是，为了在散乱堆叠场景中提取出适合点云配准的特征点，往往需要通过人工反复测试，以进行局部描述子和参数的优化调整。显然，这一系列操作对现场人员的专业技术水平要求较高，且耗时耗力。
[0004]随着近年来计算机运算能力的大幅提升，作为数据驱动型方法之一的深度学习技术备受关注。目前，深度学习技术已逐步应用于各个领域，深度学习中的卷积神经网络在图像处理中主要进行分类、分割与目标检测等任务。由于在训练中，卷积神经网络可根据数据集自动提取特征，学习更高层次的抽象表示，故其不仅可免去人工设计特征检测算子的复杂工作，而且具备比传统算法更高的识别准确率。所以，有必要充分结合机器视觉及深度学习技术，为机器人提供一种针对散乱堆叠状态且具有可抓取平面物体的智能识别与定位方法，以提高其分拣作业的工作效率及其智能化水平。

技术实现思路

[0005]本专利技术的目的是提供一种针对散乱堆叠状态且具有可抓取平面物体的识别、定位及抓取方法，主要针对一类处于散乱堆叠状态且具有可抓取平面物体，提出一种基于机器视觉及深度学习的识别与定位方法。该方法通过双目结构光相机的数据采集、基于滑动窗
口的局部图像块截取及数据增强处理，为后续系统深度学习所涉及的各类卷积神经网络提供必要的训练及测试样本；以此样本为基础，搭建并训练三个卷积神经网络，其中包括一个用于识别每个局部图像块区域中是否含有未被遮挡的可抓取平面的图像块分类网络PatchCateNet，一个用于分割每一局部图像块区域中未被遮挡的可抓取平面的语义分割网络PatchSegNet及一个用于识别场景图像中全部待抓取物体的语义分割网络SceneSegNet；前述得到的深度学习网络可较好地实现视觉场景中全部待抓取物体的识别，并为惯常吸盘手爪位姿估计所涉及的三维点云配准操作提供合理的可抓取区域匹配推荐；此外，所专利技术的方法还可通过在三维点云环境中对可抓取平面是否被遮挡进行再判断，来减少对具有小部分面被遮挡物体的误识别，以此来最终确定各待抓取物体的优先抓取顺序，确保吸盘手爪的抓取成功率。
[0006]本专利技术具体采用以下技术方案：
[0007]一种针对散乱堆叠状态且具有可抓取平面物体的识别、定位及抓取方法，其特征在于：通过双目结构光相机的数据采集、基于滑动窗口的局部图像块截取及数据增强处理，获得训练及测试样本；以此样本为基础，搭建并训练三个卷积神经网络，其中包括一个用于识别每个局部图像块区域中是否含有未被遮挡的可抓取平面的图像块分类网络PatchCateNet，一个用于分割每一局部图像块区域中未被遮挡的可抓取平面的语义分割网络PatchSegNet及一个用于识别场景图像中全部待抓取物体的语义分割网络SceneSegNet；以此实现视觉场景中全部待抓取物体的识别，并为吸盘手爪位姿估计所涉及的三维点云配准操作提供可抓取区域匹配推荐；通过在三维点云环境中对可抓取平面是否被遮挡进行再判断，最终确定各待抓取物体的优先抓取顺序。
[0008]进一步地，样本图像的采集和标注包括以下步骤：
[0009]步骤S001：将双目结构光相机固定安装在待抓取物体放置平面的正上方，通过双目结构光相机采集场景灰度图与深度图；
[0010]步骤S002：由步骤S001得到场景灰度图；
[0011]步骤S003：由步骤S001得到场景深度图；
[0012]步骤S004：在场景灰度图中，对场景中所有的待抓取物体进行语义分割标注以及对场景中未被遮挡的可抓取平面进行实例分割标注。
[0013]在此需要强调的是，本专利技术所提供的步骤标号并不意味着对步骤执行顺序的限定，如步骤S002和步骤S003可以从说明书附图1当中看出，二者实际上是属于并列关系的步骤，其执行的先后顺序可以根据需要进行调整；如步骤S004是承接步骤S002的操作步骤，与步骤S003没有直接关联，因此，步骤S003和步骤S004执行的先后顺序没有实际的技术上的意义；这些根据本领域技术人员的常识或习惯可以进行同等效果的步骤执行顺序调整均属于本专利技术所提方案的等同技术方案，也属本专利技术的保护范畴。
[0014]进一步地，所述图像块分类网络PatchCateNet的训练过程包括以下步骤：
[0015]步骤S005：生成图像块分类网络PatchCateNet的数据集，其生成方式如下：
[0016]根据待抓取物体的可抓取平面在图像下的尺寸大小，设置一个固定大小的正方形滑动窗口，窗口大小为patch size，包含可抓取平面及其周边信息；滑动窗口的步长设置为patch stride；
[0017]PatchCateNet的数据集是在深度图上生成，先根据步骤S004的语义分割标注在深
度图截出一个包含语义分割的无旋转的最小外接矩形区域，之后根据设定的滑动窗口大小和步长，从截出的深度图矩形区域的左上角开始，自左向右、自上而下在截出的深度图矩形区域上裁剪图像块，直至裁剪到右下角结束；其间每截取出一个图像块，就对该图像块进行如下分类判断：若该图像块与步骤S004的多个实例分割标注有交集，就对该图像块根据实例分割标注依次计算该图像块与每个实例分割的交集占各个实例分割面积的百分比P
i
，i＝1,2,
…
,n；n表示图像块中包含的实例分割数，选出最大的百分比P
max
...

【技术保护点】

【技术特征摘要】
1.一种针对散乱堆叠状态且具有可抓取平面物体的识别、定位及抓取方法，其特征在于：通过双目结构光相机的数据采集、基于滑动窗口的局部图像块截取及数据增强处理，获得训练及测试样本；以此样本为基础，搭建并训练三个卷积神经网络，其中包括一个用于识别每个局部图像块区域中是否含有未被遮挡的可抓取平面的图像块分类网络PatchCateNet，一个用于分割每一局部图像块区域中未被遮挡的可抓取平面的语义分割网络PatchSegNet及一个用于识别场景图像中全部待抓取物体的语义分割网络SceneSegNet；以此实现视觉场景中全部待抓取物体的识别，并为吸盘手爪位姿估计所涉及的三维点云配准操作提供可抓取区域匹配推荐；通过在三维点云环境中对可抓取平面是否被遮挡进行再判断，最终确定各待抓取物体的优先抓取顺序。2.根据权利要求1所述的针对散乱堆叠状态且具有可抓取平面物体的识别、定位及抓取方法，其特征在于，样本图像的采集和标注包括以下步骤：步骤S001：将双目结构光相机固定安装在待抓取物体放置平面的正上方，通过双目结构光相机采集场景灰度图与深度图；步骤S002：由步骤S001得到场景灰度图；步骤S003：由步骤S001得到场景深度图；步骤S004：在场景灰度图中，对场景中所有的待抓取物体进行语义分割标注以及对场景中未被遮挡的可抓取平面进行实例分割标注。3.根据权利要求2所述的针对散乱堆叠状态且具有可抓取平面物体的识别、定位及抓取方法，其特征在于，所述图像块分类网络PatchCateNet的训练过程包括以下步骤：步骤S005：生成图像块分类网络PatchCateNet的数据集，其生成方式如下：根据待抓取物体的可抓取平面在图像下的尺寸大小，设置一个固定大小的正方形滑动窗口，窗口大小为patch size，包含可抓取平面及其周边信息；滑动窗口的步长设置为patch stride；PatchCateNet的数据集是在深度图上生成，先根据步骤S004的语义分割标注在深度图截出一个包含语义分割的无旋转的最小外接矩形区域，之后根据设定的滑动窗口大小和步长，从截出的深度图矩形区域的左上角开始，自左向右、自上而下在截出的深度图矩形区域上裁剪图像块，直至裁剪到右下角结束；其间每截取出一个图像块，就对该图像块进行如下分类判断：若该图像块与步骤S004的多个实例分割标注有交集，就对该图像块根据实例分割标注依次计算该图像块与每个实例分割的交集占各个实例分割面积的百分比P
i
，i＝1,2,
…
,n；n表示图像块中包含的实例分割数，选出最大的百分比P
max
＝Max(P1,P2,
…
,P
n
)，将P
max
与预设的可抓取阈值P
threshold
进行比较，若P
max
≥P
threshold
，则将这个图像块的类别判定为正例，反之为负例；步骤S006：在图像块分类网络PatchCateNet训练前采用离线数据增强方式，以获得足够且平衡的网络正、负例样本，其增强方式如下：以场景深度图几何形心为基点，对图片进行旋转、裁剪，以此来直接扩充数据集，以获得更多的旋转后图像块所包含的信息；步骤S007：搭建图像块分类网络PatchCateNet；步骤S008：利用步骤S006生成的图像块分类网络PatchCateNet数据集对S007搭建的图像块分类网络PatchCateNet进行训练；
步骤S009：由步骤S008得到训练好的图像块分类网络PatchCateNet。4.根据权利要求2所述的针对散乱堆叠状态且具有可抓取平面物体的识别、定位及抓取方法，其特征在于：所述语义分割网络PatchSegNet的训练过程包括以下步骤：步骤S015：生成图像块语义分割网络PatchSegNet数据集，生成方式如下：依照步骤S005的方式获取深度图图像块，对图像块中类别标签为正例的图像块生成语义分割标注，标注为P
max
对应的实例分割标注在图像块中的部分，负例没有语义分割标注；步骤S016：在图像块语义分割网络PatchSegNet训练前采用离线数据增强，方式如下：依照步骤S006的方式对场景深度图进行旋转再裁剪，并依照步骤S015获取图像块与对应的语义分割标注；步骤S017：搭建图像块语义分割网络PatchSegNet；步骤S018：利用步骤S016生成的图像块语义分割网络PatchSegNet数据集对步骤S017搭建的图像块语义分割网络PatchSegNet进行训练；步骤S019：由步骤S018得到训练好的图像块语义分割网络PatchSegNet。5.根据权利要求2所述的针对散乱堆叠状态且具有可抓取平面物体的识别、定位及抓取方法，其特征在于：所述语义分割网络SceneSegNet的训练过程包括以下步骤：步骤S025：采用场景灰度图与场景中所有待抓取物体的语义分割标注生成场景语义分割网络SceneSegNet的数据集；步骤S026：根据需要在场景语义分割网络SceneSegNet训练前对数据集进行离线数据增强；步骤S027：搭建场景语义分割网络SceneSegNet；步骤S028：利用步骤S026生成的场景语义分割网络SceneSegNet数据集对步骤S027搭建的场景语义分割网络SceneSegNet进行训练；步骤S029：由步骤S028得到训练好的场景语义分割网络SceneSegNet。6.根据权利要求1所述的针对散乱堆叠状态且具有可抓取平面物体的识别、定位及抓取方法，其特征在于：对场景待抓取物体进行识别与定位，其步骤如下：步骤S100：在场景中利用固定安装在待抓取物体放置平台正上方的双目结构光相机拍摄放置在平台上的单个待抓取物体，得到包含单个待抓取物体的场景点云；步骤S200：将步骤S100得到的场景点云中多余的点云删除，保留待抓取物体可抓取平面的点云，以此建立一个在场景坐标系下的三维点云模板，在三维点...

【专利技术属性】
技术研发人员：陈志勇，曾德财，李振汉，黄全杰，黄泽麟，
申请(专利权)人：泉州冰点科技有限公司，
类型：发明
国别省市：