【技术实现步骤摘要】
本专利技术涉及机器人视觉，具体为一种机器人视觉自动化抓取系统。
技术介绍
1、随着机器人技术的发展，机械臂已经在多种场合获得了广泛应用，机器人能够代替人工从事复杂以及者重复性强的工作，其效率及精确度远远高于人工，在申请号为202111337906.9的中国专利中公开了“一种抓取系统和抓取方法，抓取方法用于对放置在物品盛放装置中的物品进行抓取，包括如下步骤：对待抓取的物品进行视觉信息采集；对所采集的视觉信息进行处理；基于所处理的视觉信息确定抓取策略；基于所述抓取策略，对物品进行抓取；对所采集的视觉信息进行处理包括：判断可抓取空间，并对可抓取空间中的所有物品的轮廓进行识别，从所述轮廓中分割出不同的物品，对分割出的物品进行三维建模，确认不同物品之间的相对空间关系，本公开采用三维机器视觉，从而准确的在无序堆叠状态下识别出物品的轮廓并三维建模，解决了二维图像特征不明显，品类识别不准的问题。”
2、该对比文件仅仅解决了在所识别到的图像中，可能会出现带抓取对象连成一个完整的平面的情况，从而使得无法判断可抓取对象，且待抓取对象的二维特征不明显，但每一份产品又都有不同的差异，仅仅依靠二维图像进行识别准确率比较低的问题，未考虑到仅通过推动的方式对待抓取目标的位置进行调整，随机性过大，且对抓取目标仅仅进行种类识别，未基于种类识别结果获取其他相关信息，进而不能对机械臂进行抓取作业时的抓取力进行调整，且在进行抓取路线规划时应当考虑多方面因素。
技术实现思路
1、本专利技术的目的在于提供一种机器人
2、为实现上述目的，本专利技术提供如下技术方案：一种机器人视觉自动化抓取系统，包括标定单元，所述标定单元用于分别确定图像坐标系与相机坐标系之间的关系及相机的镜头畸变，确定相机坐标系与机器人末端坐标系之间的关系，确定末端抓取工具坐标系与机器人末端坐标系之间的关系；
3、数据储存单元，所述数据储存单元用于基于建立的与待抓取目标相关的数据储存库，将与待抓取目标相关的数据信息进行存储，以便在进行抓取作业时将采集的图像与数据储存库内存储的图像进行对比识别，进而获得待抓取目标的具体信息；
4、三维视觉处理单元，所述三维视觉处理单元用于在进行抓取作业时，对待抓取目标进行图像采集，并对采集的图像进行预处理后，与数据储存库内存储的图像进行对比识别，以获取待抓取目标的具体信息，且基于经过预处理的图像信息对待抓取目标进行定位；
5、机器人控制单元，所述机器人控制单元用于当检测到没有足够的空间进行抓取作业时，对待抓取目标的位置进行调整，且对机器人的抓取位姿进行调整，在调整完成后，对待抓取目标的抓取路线进行规划调整；
6、目标抓取单元，所述目标抓取单元用于对机器人开始进行抓取作业的视角进行选择，且在选择完毕后基于获取的待抓取目标的具体信息，调整机器人末端抓取工具的抓取力，并在调整完毕后执行抓取作业。
7、优选的，所述标定单元包括相机标定模块，所述相机标定模块用于通过基于标定板的传统相机标定方法求取三维空间内一点与像素坐标系中一点的对应关系，同时求取出双目相机的内参数、外参数以及畸变参数矩阵，进而确定图像坐标系与相机坐标系之间的关系，实现对双目相机的标定。
8、优选的，所述标定单元还包括手眼标定模块和工具标定模块，所述手眼标定模块用于确定相机坐标系与机器人末端坐标系之间的关系，基于双目相机与机器人机械臂的位置关系，可将手眼标定分为眼在手上和眼在手外两种，具体操作步骤如下：选择手眼标定模式为眼在手上还是眼在手外，选择标定板类型并设置标定板参数，手眼标定器对象创建相应的标定板对象，用于识别标定板位姿，用户控制机器人移动后向手眼标定器发送采集信号，手眼标定器收到信号后通过视觉传感器获取目标图像，随后调用标定板对象进行识别，手眼标定器再向机器人获取机器人当前坐标信息，将机器人当前坐标、标定板位姿和对应目标图像作为一组数据存入标定数据集，通过手眼标定器执行手眼标定，所述工具标定模块用于通过六点法确定末端抓取工具坐标系与机器人末端坐标系之间的关系。
9、优选的，所述数据储存单元包括目标数据储存模块和目标数据更新模块，所述目标数据储存模块用于将与待抓取目标相关的数据信息上传到数据储存库进行存储，且与待抓取目标相关的数据信息包括图像中待抓取目标的尺寸、重量以及种类，所述目标数据更新模块用于通过将与数据储存库内存储的图像进行对比识别且对比识别结果为同种目标的图像上传到数据储存库内的方式实现对数据储存库内的数据信息进行更新。
10、优选的，所述三维视觉处理单元包括目标图像采集模块和图像预处理模块，所述目标图像采集模块通过双目相机实现对待抓取目标的多方位的图像采集，所述图像预处理模块用于对采集的图像进行预处理操作，以去除图像中不相关的信息，提高图像的可视性，具体通过图像灰度化、图像滤波、图像二值化和图像形态学处理实现对图像的预处理，其中通过最大值法、平均值法或者加权平均法实现图像灰度化操作，其中通过均值滤波法、中值滤波法、高斯滤波法或者双边滤波法实现图像滤波操作，其中通过最大类间方差法实现图像二值化操作，其中通过腐蚀、膨胀、开运算和闭运算四个基本操作实现图像形态学处理。
11、优选的，所述三维视觉处理单元还包括目标识别模块和目标定位模块，所述目标识别模块用于将图像预处理模块中经过预处理的图像与数据储存库内存储的图像进行对比识别，并基于对比识别结果获取待抓取目标的相关信息，同时将该经过预处理的图像上传到数据储存库内进行储存，所述目标定位模块用于基于经过预处理的图像信息，从轮廓的圆形度、轮廓面积与外接最小矩形面积比、轮廓层级关系以及hu矩四个方面对待抓取目标进行轮廓识别，由此将图像中种类不同的目标进行分割，并对待抓取目标进行三维建模，以对待抓取目标进行定位。
12、优选的，所述机器人控制单元包括目标位置调整模块，所述目标位置调整模块用于当没有足够的空间进行抓取作业时，通过控制机器人对待抓取目标同时进行抓取动作和推动动作，以调整待抓取目标的位置，且通过设计的抓取奖励函数和推动奖励函数对机器人进行动作训练，以降低推动过程中随机性对抓取成功率的影响，且抓取奖励函数采用稀疏的奖励函数，其具体计算公式如下：
13、
14、式中，奖励rcollsion＝{0，-0.5}，且推动奖励函数的具体计算公式如下：
15、rp＝rcollsion+w·d(st,st+1)+c'-c
16、式中，c'-c表示推动前后聚类数量c、c'的变化情况，d(st,st+1)表示推动前的点云st与推动后的点云st+1之间的倒角距离，w表示推动前后状态改变量的权重系数。
17、优选的，所述机器人控制单元还包括抓取位姿调整模块和抓取路线规划模块，所述抓取位姿调整模块用于基于通过目标位置调整模块调整后的待抓取目标的位置信息，对机器人的位置进行调整，且在调整完成后对机器人机械臂的下爪位置、抓取角度以本文档来自技高网...
【技术保护点】
1.一种机器人视觉自动化抓取系统，其特征在于：包括标定单元(100)，所述标定单元(100)用于分别确定图像坐标系与相机坐标系之间的关系及相机的镜头畸变，确定相机坐标系与机器人末端坐标系之间的关系，确定末端抓取工具坐标系与机器人末端坐标系之间的关系；
2.根据权利要求1所述的一种机器人视觉自动化抓取系统，其特征在于：所述标定单元(100)包括相机标定模块(101)，所述相机标定模块(101)用于通过基于标定板的传统相机标定方法求取三维空间内一点与像素坐标系中一点的对应关系，同时求取出双目相机的内参数、外参数以及畸变参数矩阵，进而确定图像坐标系与相机坐标系之间的关系，实现对双目相机的标定。
3.根据权利要求1所述的一种机器人视觉自动化抓取系统，其特征在于：所述标定单元(100)还包括手眼标定模块(102)和工具标定模块(103)，所述手眼标定模块(102)用于确定相机坐标系与机器人末端坐标系之间的关系，基于双目相机与机器人机械臂的位置关系，可将手眼标定分为眼在手上和眼在手外两种，具体操作步骤如下：选择手眼标定模式为眼在手上还是眼在手外，选择标定板类型并设置标
4.根据权利要求1所述的一种机器人视觉自动化抓取系统，其特征在于：所述数据储存单元(200)包括目标数据储存模块(201)和目标数据更新模块(202)，所述目标数据储存模块(201)用于将与待抓取目标相关的数据信息上传到数据储存库进行存储，且与待抓取目标相关的数据信息包括图像中待抓取目标的尺寸、重量以及种类，所述目标数据更新模块(202)用于通过将与数据储存库内存储的图像进行对比识别且对比识别结果为同种目标的图像上传到数据储存库内的方式实现对数据储存库内的数据信息进行更新。
5.根据权利要求1所述的一种机器人视觉自动化抓取系统，其特征在于：所述三维视觉处理单元(300)包括目标图像采集模块(301)和图像预处理模块(302)，所述目标图像采集模块(301)通过双目相机实现对待抓取目标的多方位的图像采集，所述图像预处理模块(302)用于对采集的图像进行预处理操作，以去除图像中不相关的信息，提高图像的可视性，具体通过图像灰度化、图像滤波、图像二值化和图像形态学处理实现对图像的预处理，其中通过最大值法、平均值法或者加权平均法实现图像灰度化操作，其中通过均值滤波法、中值滤波法、高斯滤波法或者双边滤波法实现图像滤波操作，其中通过最大类间方差法实现图像二值化操作，其中通过腐蚀、膨胀、开运算和闭运算四个基本操作实现图像形态学处理。
6.根据权利要求5所述的一种机器人视觉自动化抓取系统，其特征在于：所述三维视觉处理单元(300)还包括目标识别模块(303)和目标定位模块(304)，所述目标识别模块(303)用于将图像预处理模块(302)中经过预处理的图像与数据储存库内存储的图像进行对比识别，并基于对比识别结果获取待抓取目标的相关信息，同时将该经过预处理的图像上传到数据储存库内进行储存，所述目标定位模块(304)用于基于经过预处理的图像信息，从轮廓的圆形度、轮廓面积与外接最小矩形面积比、轮廓层级关系以及Hu矩四个方面对待抓取目标进行轮廓识别，由此将图像中种类不同的目标进行分割，并对待抓取目标进行三维建模，以对待抓取目标进行定位。
7.根据权利要求1所述的一种机器人视觉自动化抓取系统，其特征在于：所述机器人控制单元(400)包括目标位置调整模块(401)，所述目标位置调整模块(401)用于当没有足够的空间进行抓取作业时，通过控制机器人对待抓取目标同时进行抓取动作和推动动作，以调整待抓取目标的位置，且通过设计的抓取奖励函数和推动奖励函数对机器人进行动作训练，以降低推动过程中随机性对抓取成功率的影响，且抓取奖励函数采用稀疏的奖励函数，其具体计算公式如下：
8.根据权利要求1所述的一种机器人视觉自动化抓取系统，其特征在于：所述机器人控制单元(400)还包括抓取位姿调整模块(402)和抓取路线规划模块(403)，所述抓取位姿调整模块(402)用于基于通过目标位置调整模块(401)调整后的待抓取目标的位置信息，对机器人的位置进行调整，且在调整完成后对机器人机械臂的下爪位置、抓取角度以及抓取姿势进行调整...
【技术特征摘要】
1.一种机器人视觉自动化抓取系统，其特征在于：包括标定单元(100)，所述标定单元(100)用于分别确定图像坐标系与相机坐标系之间的关系及相机的镜头畸变，确定相机坐标系与机器人末端坐标系之间的关系，确定末端抓取工具坐标系与机器人末端坐标系之间的关系；
2.根据权利要求1所述的一种机器人视觉自动化抓取系统，其特征在于：所述标定单元(100)包括相机标定模块(101)，所述相机标定模块(101)用于通过基于标定板的传统相机标定方法求取三维空间内一点与像素坐标系中一点的对应关系，同时求取出双目相机的内参数、外参数以及畸变参数矩阵，进而确定图像坐标系与相机坐标系之间的关系，实现对双目相机的标定。
3.根据权利要求1所述的一种机器人视觉自动化抓取系统，其特征在于：所述标定单元(100)还包括手眼标定模块(102)和工具标定模块(103)，所述手眼标定模块(102)用于确定相机坐标系与机器人末端坐标系之间的关系，基于双目相机与机器人机械臂的位置关系，可将手眼标定分为眼在手上和眼在手外两种，具体操作步骤如下：选择手眼标定模式为眼在手上还是眼在手外，选择标定板类型并设置标定板参数，手眼标定器对象创建相应的标定板对象，用于识别标定板位姿，用户控制机器人移动后向手眼标定器发送采集信号，手眼标定器收到信号后通过视觉传感器获取目标图像，随后调用标定板对象进行识别，手眼标定器再向机器人获取机器人当前坐标信息，将机器人当前坐标、标定板位姿和对应目标图像作为一组数据存入标定数据集，通过手眼标定器执行手眼标定，所述工具标定模块(103)用于通过六点法确定末端抓取工具坐标系与机器人末端坐标系之间的关系。
4.根据权利要求1所述的一种机器人视觉自动化抓取系统，其特征在于：所述数据储存单元(200)包括目标数据储存模块(201)和目标数据更新模块(202)，所述目标数据储存模块(201)用于将与待抓取目标相关的数据信息上传到数据储存库进行存储，且与待抓取目标相关的数据信息包括图像中待抓取目标的尺寸、重量以及种类，所述目标数据更新模块(202)用于通过将与数据储存库内存储的图像进行对比识别且对比识别结果为同种目标的图像上传到数据储存库内的方式实现对数据储存库内的数据信息进行更新。
5.根据权利要求1所述的一种机器人视觉自动化抓取系统，其特征在于：所述三维视觉处理单元(300)包括目标图像采集模块(301)和图像预处理模块(302)，所述目标图像采集模块(301)通过双目相机实现对待抓取目标的多方位的图像采集，所述图像预处理模块(302)用于对采集的图像进行预处理操作，以去除图像中不相关的信息，提高图像的可视性，具体通过图像灰度化、图像滤波、图像二值化和图像形态学处理实现对图像的预处理，其中通过最大值法、平均值法或者加权平均法实现图像灰度化操作，其中通过均值滤波法、中值滤波法、高斯滤波法或者双边滤波法实现图像滤波操作，...
【专利技术属性】
技术研发人员：杨涛，刘昌敏，张鸽，
申请(专利权)人：维宏感应山东科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。