一种面向非结构化场景下物料分拣的智能系统和方法技术方案

本发明专利技术公开了一种面向非结构化场景下物料分拣的智能系统和方法，涉及人工智能领域，该智能系统包括机器人系统、智能检测与测量模块、标定装置、支撑台面，机器人系统用于实现随机摆放物料在不同位姿条件下的抓取；智能检测与测量模块包括RGBD相机、工控机；RGBD相机用于采集物料信息，并将所述物料信息实时传输到所述工控机；工控机基于所述物料信息进行物料检测和位姿测量，评价物料的抓取风险和机械臂的抓取功耗，建立抓取策略评估函数，规划物料抓取顺序，实现非结构化场景下物料的有序分拣；本发明专利技术采用协同视觉检测、抓取策略评估与机械臂分拣的方法实现非结构化场景下随机摆放物料的智能化分拣，实现随机摆放物料的安全、低功耗分拣。低功耗分拣。低功耗分拣。

【技术实现步骤摘要】
一种面向非结构化场景下物料分拣的智能系统和方法


[0001]本专利技术涉及人工智能领域，尤其涉及一种面向非结构化场景下物料分拣的智能系统和方法。

技术介绍

[0002]随着人工智能的快速发展以及视觉传感器和机器人制造水平的提高，智能分拣在制造业、服务业等领域中逐步获得应用。特别是电子商务的蓬勃发展使仓储物流行业面临的物料分拣压力与日俱增，利用智能分拣代替人工完成物料分拣，有利于提高作业效率和可靠性，成为仓储物流行业未来发展的趋势。视觉感知技术与机器人技术在智能分拣中承担着重要作用，通过视觉检测技术可以实现物料的识别和分类，通过视觉测量技术可以获得物料的位姿信息，利用物料检测和测量结果可以引导机器人完成物料分拣。
[0003]但是仓储物流场景下物料种类、尺寸和形状各异且随机摆放，物料之间不可避免地存在遮挡问题，在这种非结构化场景下进行物料分拣，不合理的抓取顺序一方面会破坏物料受力平衡，导致物料抓取场景坍塌甚至损坏；另一方面会增大机器人运动路径和能量消耗。这限制了智能分拣在非结构化场景下物料分拣的应用。
[0004]因此，本领域的技术人员致力于开发一种面向非结构化场景下物料分拣的智能系统和方法，能够实现非结构化物料的安全低功耗分拣，降低抓取风险和能量消耗。

技术实现思路

[0005]有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是仓储物流场景下随机摆放物料中存在遮挡，限制了智能分拣的应用。
[0006]为实现上述目的，本专利技术提供了一种面向非结构化场景下物料分拣的智能系统，其特征在于，包括机器人系统、智能检测与测量模块、标定装置、支撑台面，其中，所述机器人系统包括机械臂、二指机械爪，用于实现随机摆放物料在不同位姿条件下的抓取；
[0007]所述机械臂具有六个自由度，所述二指机械爪安装在所述机械臂的末端。
[0008]所述智能检测与测量模块包括RGBD相机、工控机；所述RGBD相机用于采集物料信息，并将所述物料信息实时传输到所述工控机；
[0009]所述物料信息包括RGB图像和深度图像；
[0010]所述工控机基于所述物料信息进行物料检测和位姿测量，利用物料检测和位姿测量结果评价物料的抓取风险和机械臂的抓取功耗，根据所述抓取风险和所述抓取功耗制定物料的抓取策略，建立抓取策略评估函数，并根据所述抓取策略评估函数的值规划物料抓取顺序，实现非结构化场景下物料的有序分拣；
[0011]所述标定装置为棋盘格标定板，用于进行手眼标定；
[0012]所述支撑台面是物料的支撑平台，相对机械臂基坐标系保持不动。
[0013]进一步地，所述RGBD相机由RGB相机和ToF深度相机组成；所述RGBD相机使用时固定在所述支撑台面旁某一固定位置。
[0014]进一步地，所述手眼标定为：在物料分拣之前，将所述标定装置安装在所述机械臂的末端，利用所述工控机中图形识别算法获取所述标定装置的位姿，然后利用手眼标定算法计算出RGBD相机坐标系到机械臂基坐标系的转换矩阵，根据转换矩阵与位姿测量结果计算出物料的抓取位姿；完成所述手眼标定后，将所述二指机械爪替换所述标定装置安装在所述机械臂的末端。
[0015]一种面向非结构化场景下物料分拣的方法，包括以下步骤：
[0016]步骤1、利用RGBD相机采集分拣场景下非结构化物料的RGB图像和深度图像，并实时传输到工控机；
[0017]步骤2、所述工控机采用基于RGBD的目标检测算法进行物料检测；
[0018]步骤3、所述工控机基于所述物料检测的输出结果进行物料点云分割，去除场景中的干扰点云，获得物料点云数据；
[0019]步骤4、所述工控机采用粗配准与细配准结合的模型匹配算法进行物料的位姿测量，获得物料在相机坐标系下的位姿信息；利用物料在相机坐标系下的位姿信息与RGBD相机坐标系到机械臂基坐标系的转换矩阵，计算出物料在机械臂基坐标系下的位姿，获得物料的抓取位姿；
[0020]步骤5、根据随机摆放物料的抓取风险和机械臂的抓取功耗制定物料的抓取策略，建立抓取策略评估函数，并根据所述抓取策略评估函数规划物料抓取顺序，确定最优先抓取的物料及其抓取位姿；
[0021]步骤6、所述工控机根据最优先抓取的物料的抓取位姿规划机械臂运动轨迹，通过逆运动学算法计算出机械臂关节运动量信息，将所述关节运动量信息输出到机器人系统，所述机械臂接收到所述关节运动量信息执行抓取操作，完成当前场景下物料的分拣操作并返回初始位姿；
[0022]步骤7、完成每次物料分拣后，利用RGBD目标检测算法对物料分拣场景进行检测，并与上一抓取场景的检测结果进行对比，获取抓取场景的变化量；
[0023]步骤8、根据抓取场景的变化量判断是否进行抓取策略重评估/规划；如果检测出新物料或物料因滑落出现位置变化，则需要进行抓取策略重评估/规划，执行所述步骤3；如果没有检测出新物料或物料没有出现位置变化，则判断是否完成物料分拣，如果没有完成物料分拣，则重复执行所述步骤6直至完成物料分拣，最后控制机械臂返回初始位姿。
[0024]进一步地，所述工控机采用粗配准与细配准结合的模型匹配算法进行物料的位姿测量包括：
[0025]使用Open3D重建系统完成物料重建，获取物料的模型点云数据；
[0026]输入实际场景中的所述物料点云数据；
[0027]对所述模型点云数据和所述物料点云数据的特征进行提取，采用基于特征的点云粗配准和细配准实现位姿估计，最终得到物料的位姿信息。
[0028]进一步地，所述步骤5中的所述抓取风险是根据物料间相对位置关系和物料几何形状进行评价的；所述物料间相对位置关系包括倚靠关系和堆叠关系。
[0029]进一步地，所述物料间相对位置关系判断方式为：
[0030]对两个物料在支撑台面上的投影是否有重叠进行判断；
[0031]如果存在重叠，则对两个物料与所述支撑台面之间的夹角进行判断；如果不存在
重叠，则两个物料之间不存在相对位置关系；
[0032]如果夹角不等于零则说明两个物料间存在所述倚靠关系，重叠部分点云高度大的物料为倚靠物料，反之另一物料为被倚靠物料；如果夹角等于零则说明两个物料之间存在所述堆叠关系，重叠部分点云高度大的物料为堆叠物料，反之另一物料则为被堆叠物料。
[0033]进一步地，对于处于所述倚靠关系中的物料，优先抓取所述倚靠物料；对于处于所述堆叠关系中的物料，优先抓取上部的所述堆叠物料；对于所述被倚靠物料和所述被堆叠物料，与不存在相对位置关系的物料等同处理。
[0034]进一步地，所述步骤5中的所述抓取功耗根据物料的抓取路径代价进行表征，所述抓取路径代价的表达式为：
[0035]C
i
＝ΔP
i
+αΔR
i
[0036]式中，假设物料的总数为n，i∈[1,n]，α为姿态差值增加权重，ΔP
i
和ΔR
i
分别表示第i次抓取中物本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向非结构化场景下物料分拣的智能系统，其特征在于，包括机器人系统、智能检测与测量模块、标定装置、支撑台面，其中，所述机器人系统包括机械臂、二指机械爪，用于实现随机摆放物料在不同位姿条件下的抓取；所述机械臂具有六个自由度，所述二指机械爪安装在所述机械臂的末端。所述智能检测与测量模块包括RGBD相机、工控机；所述RGBD相机用于采集物料信息，并将所述物料信息实时传输到所述工控机；所述物料信息包括RGB图像和深度图像；所述工控机基于所述物料信息进行物料检测和位姿测量，利用物料检测和位姿测量结果评价物料的抓取风险和所述机械臂的抓取功耗，根据所述抓取风险和所述抓取功耗制定物料的抓取策略，建立抓取策略评估函数，并根据所述抓取策略评估函数的值规划物料抓取顺序，实现非结构化场景下物料的有序分拣；所述标定装置为棋盘格标定板，用于进行手眼标定；所述支撑台面是物料的支撑平台，相对机械臂基坐标系保持不动。2.如权利要求1所述的面向非结构化场景下物料分拣的智能系统，其特征在于，所述RGBD相机由RGB相机和ToF深度相机组成；所述RGBD相机使用时固定在所述支撑台面旁某一固定位置。3.如权利要求1所述的面向非结构化场景下物料分拣的智能系统，其特征在于，所述手眼标定为：在物料分拣之前，将所述标定装置安装在所述机械臂的末端，利用所述工控机中图形识别算法获取所述标定装置的位姿，然后利用手眼标定算法计算出RGBD相机坐标系到机械臂基坐标系的转换矩阵，根据转换矩阵与位姿测量结果计算出物料的抓取位姿；完成所述手眼标定后，将所述二指机械爪替换所述标定装置安装在所述机械臂的末端。4.一种面向非结构化场景下物料分拣的方法，其特征在于，所述方法包括以下步骤：步骤1、利用RGBD相机采集分拣场景下非结构化物料的RGB图像和深度图像，并实时传输到工控机；步骤2、所述工控机采用基于RGBD的目标检测算法进行物料检测；步骤3、所述工控机基于所述物料检测的输出结果进行物料点云分割，去除场景中的干扰点云，获得物料点云数据；步骤4、所述工控机采用粗配准与细配准结合的模型匹配算法进行物料的位姿测量，获得物料在相机坐标系下的位姿信息；利用物料在相机坐标系下的位姿信息与RGBD相机坐标系到机械臂基坐标系的转换矩阵，计算出物料在机械臂基坐标系下的位姿，获得物料的抓取位姿；步骤5、根据随机摆放物料的抓取风险和机械臂的抓取功耗制定物料的抓取策略，建立抓取策略评估函数，并根据所述抓取策略评估函数规划物料抓取顺序，确定最优先抓取的物料及其抓取位姿；步骤6、所述工控机根据最优先抓取的物料的抓取位姿规划机械臂运动轨迹，通过逆运动学算法计算出机械臂关节运动量信息，将所述关节运动量信息输出到机器人系统，所述机械臂接收到所述关节运动量信息执行抓取操作，完成当前场景下物料的分拣操作并返回初始位姿；步骤7、完成每次物料分拣后，利用RGBD目标检测算法对物料分拣场景进行检测，并与
上一抓取场景的检测结果进行对比，获取抓取场景的变化量；步骤8、根据抓取场景的变化量判断是否进行抓取策略重评估/规划；如果检测出新物料或物料因滑落出现位置变化，则需要进行抓取策略重评估/规划，执行所述步骤3；如果没有检测出新物料或物料没有出现位置变化，则判断是否完成物料分拣，如果没有完成物料分拣，则重复执行所述步骤6直至完成物料分拣，最后控制所述机械臂返回初始位姿。5.如权利要求4所述的面向非结构化场景下物料分拣的方法，其特征在于，所述工控机采用粗配准与细配准结合的模型匹配算法进行物料的位姿测量包括：使用Open3D重建系统完成物料重建，获取物料的模型点云数据；输入...

【专利技术属性】
技术研发人员：陈祥，应忍冬，文飞，钱久超，张澜涛，尹树雨，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：