基于点云获取和处理的抓取训练方法及系统技术方案

本申请实施例公开一种基于点云获取和处理的抓取训练方法及系统。所述系统包括相机、机械手、机械臂、机械臂基座和主控制计算机。所述方法包括：A1、将从相机得到的点云信息输入至第一部分神经网络，以获得实物场景内目标物体的位姿信息；A2、将所述位姿信息输入至所述第二部分神经网络，以生成相对于相机光轴坐标系的第一抓手位姿信息；A3、将所述第一抓手位姿信息变换成相对于机械臂基座坐标系的第二抓手位姿信息；A4、根据所述第二抓手位姿信息控制机械臂和机械手抓取目标物体；A5、获取反映抓取效果的指定指标。本申请实施例可以观察实物抓取效果，为算法的质量提供反馈，这不仅大幅提升了算法训练的效率，也在一定程度上提升了算法的实用性。

The method and system of grasping training based on point cloud acquisition and processing

【技术实现步骤摘要】
基于点云获取和处理的抓取训练方法及系统
本申请涉及机器人
，特别涉及一种基于点云获取和处理的抓取训练方法及系统。
技术介绍
随着人工智能与硬件设备的飞速发展，大大的推进了工业化进程与机器人科学的发展。机器人的抓取功能是机器人最基本的功能，用来在任务中执行诸如分拣、拾取等基本的任务操作。在工业生产环境或者物流分拣任务下，机器人抓取应用十分常见。但是在很多情况下，需要完成抓取的物体场景比较复杂，比如包含多种物体并存在堆叠现象，加之机器人事先对该环境并没有先验认知，这就导致机械手真正完成抓取任务时会遇到较大的阻碍。为此，目前较为流行的解决办法是采用机器学习的理念，利用基于模型的已知信息对系统进行训练，最终使系统可以从视觉的原始输入中直接做出抓取决策。目前常用的训练方案包括利用RGB双目图像信息作为原始输入产生抓取策略，或者限制输入场景的复杂度以保证识别的准确性，又或者将整个抓取系统中各个部分分割开来处理，不能形成一套通用完整的训练体系。利用RGB双目信息的训练系统会受到诸如光强、照度等问题的制约，且处理起来较为繁琐；而通过限制场景复杂程度虽然能较显著的提升抓取的可靠性，但是在实际应用时会受到多物体堆叠的干扰，从而无法保证达到与训练时相同的良好效果；把各个设备割裂开来分别予以处理，则无法成为体系，难以进行推广和应用。在机器人抓取中的一个关键问题就是视觉输入问题。当前机器人从环境中获取信息最为高效的方式即为视觉。现有的抓取技术在原始视觉信息的获取上往往有两种选择：一是使用RGB双目相机获取场景3D信息，二是使用基于TOF(TimeofFlight)光行时间原理获得的点云信息。通过RGB双目相机如PointGrey公司推出的BumbleBee系列相机，获得场景的RGB-D信息，进而使用可以处理RGB-D图像的机器学习算法得到场景内的物体特征。双目视觉的原理比较简单，主要是将左右两个相机获得图像数据进行整合，可以用图1来表示。其中基线距B为两摄像机的投影中心连线的距离，相机焦距为f。设两摄像机在同一时刻观看空间物体的同一特征点P(xc,yc,zc)，分别在“左眼”和“右眼”上获取了点P的图像，它们的图像坐标分别为Pleft(Xleft,Yleft)，Pright(Xright,Yright)。现由于两摄像机的焦距相同，则对同一个点所成的像会落在同一个平面上，因此特征点P的在两幅图像内的坐标Y坐标相同，即Yleft＝Yright＝Y。根据图6中的三角几何关系进行计算和整理可以得到如下结论：经过以上运算，可以从两幅图像中获得场景点在相机坐标系(左相机)内的坐标值，只要逐点计算便可得到整个场景内点的三维坐标。基于双目原理的相机对环境的光照非常敏感，这是因为双目立体视觉法依赖环境中的自然光线采集图像，而由于光照角度变化、光照强度变化等环境因素的影响，拍摄的图片亮度差别会比较大，这样对图片的处理程序可能需要有所适应；另外，左右两幅图片由于视差等因素的存在，摄录的像可能不完全相同，这会对匹配算法提出很大的挑战；同时，由于双目相机是被动的接收物体反射光，物体的材质、反光程度、纹理、粗糙度等性质都会为获得的RGB-D图像带来很大的干扰，从而从根本上影响到抓取性能。为了克服以上问题，许多技术方案转而使用基于TOF原理的相机，如mesa系列相机和kinectv2相机。由于此类相机主动发射红外光并计算接收反射光的时间，通过该时间计算出场景中各点的深度信息，因此对自然光照环境要求非常低，往往获得的信息更为准确，而且原理简单，不需要在处理时使用复杂的配准算法。这就解决了训练系统的输入可靠性问题。对相机输出的点云数据进行特征提取时，现有技术选择先将点云数据做体素化处理，然后使用3D-CNN网络模型进行计算。具体过程如图7所示。首先将整个空间进行分割，不同的栅格大小会影响到体素的整体分辨率，如使用较小的栅格可以提高分辨率；进而把分割好的体素按照一定顺序输入到3D神经网络(如VoxelNet)中进行特征提取和识别，以得到场景内物体的位姿估计结果。这种将点云体素化的方式其实有很大的局限性。如体素化时分辨率的选择问题：使用较高分辨率的体素化方式，会导致3D-CNN的输入数据量按照3次方的比例增长，从而大幅度的提高了3D-CNN的复杂度，导致运算代价过大；反之如果使用较低的分辨率，会令单位体素内点的含量过低，有时甚至在某些体素内产生大量空白，这给网络带来了较严重的量化噪声，也会导致特征识别不够理想。因此，把原始点云数据先进行预处理并不是一个好的选择。以上
技术介绍
内容的公开仅用于辅助理解本申请的专利技术构思及技术方案，其并不必然属于本申请的现有技术，在没有明确的证据表明上述内容在本申请的申请日已经公开的情况下，上述
技术介绍
不应当用于评价本申请的新颖性和创造性。
技术实现思路
本申请提出一种基于点云获取和处理的抓取训练方法及系统，能够有效的提高算法改进效率。在第一方面，本申请提供一种基于点云获取和处理的抓取训练方法，包括：A1、将从相机得到的点云信息输入至第一部分神经网络，以获得实物场景内目标物体的位姿信息；A2、将所述位姿信息输入至所述第二部分神经网络，以生成相对于相机光轴坐标系的第一抓手位姿信息；A3、将所述第一抓手位姿信息变换成相对于机械臂基座坐标系的第二抓手位姿信息；A4、根据所述第二抓手位姿信息控制机械臂和机械手抓取目标物体；A5、获取反映抓取效果的指定指标。在一些优选的实施方式中，还包括：A6、根据所述指定指标对所述第一部分神经网络进行修改，以提升抓取效果。在一些优选的实施方式中，所述A3具体为：获取所述相机光轴坐标系与所述机械臂基座坐标系之间的相对关系，根据所述相对关系将所述第一抓手位姿信息变换成所述第二抓手位姿信息。在一些优选的实施方式中，所述获取所述相机光轴坐标系与所述机械臂基座坐标系之间的相对关系具体为：通过手眼标定获得描述所述相对关系的坐标变换矩阵。在一些优选的实施方式中，所述A4包括：将所述第二抓手位姿信息进行逆运动学解算以生成指令控制所述机械臂运动到相应的位置和呈现相应的姿态。在一些优选的实施方式中，通过机器人操作系统在所述相机、所述机械臂和所述机械手之间进行通信。在一些优选的实施方式中，所述A4包括：将所述第二抓手位姿信息发布到所述机器人操作系统，从而对所述第二抓手位姿信息进行逆运动学解算以生成指令控制所述机械臂运动到相应的位置和呈现相应的姿态。在一些优选的实施方式中，还包括：通过仿真数据对指定神经网络进行训练，得到一个可行的神经网络作为所述第一部分神经网络。在一些优选的实施方式中，所述A6具体为：根据所述指定指标对所述可行的神经网络进行修改，得到新的所述可行的神经网络，将新的所述可行的神经网络替换所述第一部分神经网络。在一些优选的实施方式中，所述指定指标包括成功率和准确率。在一些优选的实施方式中，所述将从相机得到的点云信息输入至第一部分神经本文档来自技高网...

【技术保护点】
1.一种基于点云获取和处理的抓取训练方法，其特征在于包括：/nA1、将从相机得到的点云信息输入至第一部分神经网络，以获得实物场景内目标物体的位姿信息；/nA2、将所述位姿信息输入至所述第二部分神经网络，以生成相对于相机光轴坐标系的第一抓手位姿信息；/nA3、将所述第一抓手位姿信息变换成相对于机械臂基座坐标系的第二抓手位姿信息；/nA4、根据所述第二抓手位姿信息控制机械臂和机械手抓取目标物体；/nA5、获取反映抓取效果的指定指标。/n

【技术特征摘要】
1.一种基于点云获取和处理的抓取训练方法，其特征在于包括：
A1、将从相机得到的点云信息输入至第一部分神经网络，以获得实物场景内目标物体的位姿信息；
A2、将所述位姿信息输入至所述第二部分神经网络，以生成相对于相机光轴坐标系的第一抓手位姿信息；
A3、将所述第一抓手位姿信息变换成相对于机械臂基座坐标系的第二抓手位姿信息；
A4、根据所述第二抓手位姿信息控制机械臂和机械手抓取目标物体；
A5、获取反映抓取效果的指定指标。


2.根据权利要求1所述抓取训练方法，其特征在于还包括：A6、根据所述指定指标对所述第一部分神经网络进行修改，以提升抓取效果。


3.根据权利要求1所述抓取训练方法，其特征在于所述A3具体为：获取所述相机光轴坐标系与所述机械臂基座坐标系之间的相对关系，根据所述相对关系将所述第一抓手位姿信息变换成所述第二抓手位姿信息。


4.根据权利要求3所述抓取训练方法，其特征在于所述获取所述相机光轴坐标系与所述机械臂基座坐标系之间的相对关系具体为：通过手眼标定获得描述所述相对关系的坐标变换矩阵。


5.根据权利要求1所述抓取训练方法，其特征在于所述A4包括：将所述第二抓手位姿信息进行逆运动学解算以生成指令控制所述机械臂运动到相应的位置和呈现相应的姿态。


6.根据...

【专利技术属性】
技术研发人员：刘厚德，张郑，周星如，王学谦，阮见，刘思成，梁斌，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：广东;44