基于制造技术

本发明专利技术提供了基于

【技术实现步骤摘要】
基于AI视觉抓取的机械臂控制方法及系统


[0001]本专利技术涉及数据处理
，具体而言，涉及基于
AI
视觉抓取的机械臂控制方法及系统
。

技术介绍

[0002]机械臂是一种在工业生产中代替人工完成某些单调
、
频繁和重复的长时间作业的自动化装置，按照设定的程序
、
轨迹和要求执行监控
、
抓取
、
搬运工作或操持工具进行操作
。
[0003]机械臂的安装状态一般情況下默认为地面，因此其安全运动范围的设置一般来说是基于地面安装进行设置的，然而，专利技术人在实现本专利技术的过程中发现现有技术至少存在以下技术问题：当使用者根据实际使用场景改变机械臂的安装状态时，会使得其默认的安全工作范围不能满足实际需求，从而导致碰撞等事故的发生

技术实现思路

[0004]本专利技术的目的在于提供基于
AI
视觉抓取的机械臂控制方法及系统，以改善上述问题
。
为了实现上述目的，本专利技术采取的技术方案如下：
[0005]第一方面，本申请提供了基于
AI
视觉抓取的机械臂控制方法，包括：
[0006]基于激光雷达检测待工作区域预设距离空间内的障碍物，得到障碍物集合；
[0007]基于
AI
图像识别技术识别所述障碍物集合确定待抓取对象；
[0008]基于所述待抓取对象在
AI
图像中的像素坐标
、<br/>激光雷达坐标进行转化，得到第一坐标；
[0009]基于所述第一坐标和每个所述障碍物对应的第二坐标计算，得到运行路线，所述第二坐标为每个所述障碍物对应的激光雷达坐标转化为像素坐标后得到的坐标；
[0010]基于所述运行路线对所述待抓取对象进行抓取控制
。
[0011]第二方面，本申请还提供了一种基于
AI
视觉抓取的机械臂控制系统，包括检测模块
、
提取模块
、
转化模块
、
规划模块和执行模块，其中：
[0012]检测模块：用于基于激光雷达检测待工作区域预设距离空间内的障碍物，得到障碍物集合；
[0013]提取模块：用于基于
AI
图像识别技术识别所述障碍物集合确定待抓取对象；
[0014]转化模块：用于基于所述待抓取对象在
AI
图像中的像素坐标
、
激光雷达坐标进行转化，得到第一坐标；
[0015]规划模块：用于基于所述第一坐标和每个所述障碍物对应的第二坐标计算，得到运行路线，所述第二坐标为每个所述障碍物对应的激光雷达坐标转化为像素坐标后得到的坐标；
[0016]执行模块：用于基于所述运行路线对所述待抓取对象进行抓取控制
。
[0017]本专利技术的有益效果为：
[0018]本申请中融合雷达
、AI
识别技术对待抓取对象进行精准提取，并通过对待抓取对
象的像素坐标
、
激光雷达坐标进行转化进行精准定位，在达到减小误差的同时，解决由于激光雷达和相机不在同一位置而造成对待抓取对象定位产生误差的问题，实现相机和激光雷达的自由装置
。
同时，基于定位识别结果中第二坐标确定运行路线，使得机械臂绕过障碍物去，避免发生碰撞，提高机械臂作业安全性
。
[0019]本专利技术的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术实施例了解
。
本专利技术的目的和其他优点可通过在所写的说明书
、
权利要求书
、
以及附图中所特别指出的结构来实现和获得
。
附图说明
[0020]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图
。
[0021]图1为本专利技术实施例中的基于
AI
视觉抓取的机械臂控制方法的流程框图；
[0022]图2为本专利技术实施例中的基于
AI
视觉抓取的机械臂控制系统框图；
[0023]图3为本专利技术实施例中的基于
AI
视觉抓取的机械臂控制设备的框图
。
[0024]图中标记：
710
‑
检测模块；
720
‑
提取模块；
721
‑
第一获取单元；
722
‑
匹配单元；
7221
‑
第二获取单元；
7222
‑
分类单元；
7223
‑
第二判断单元；
723
‑
第一判断单元；
730
‑
转化模块；
731
‑
第三获取单元；
732
‑
第一计算单元；
733
‑
第二计算单元；
740
‑
规划模块；
741
‑
分割单元；
742
‑
标记单元；
743
‑
查询单元；
750
‑
执行模块；
800
‑
基于
AI
视觉抓取的机械臂控制设备；
801
‑
处理器；
802
‑
存储器；
803
‑
多媒体组件；
804
‑
I/O
接口；
805
‑
通信组件
。
具体实施方式
[0025]为使本专利技术实施例的目的
、
技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例
。
通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计
。
因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例
。
基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围
。
[0026]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释
。
同时，在本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于
AI
视觉抓取的机械臂控制方法，其特征在于，包括：基于激光雷达检测待工作区域预设距离空间内的障碍物，得到障碍物集合；基于
AI
图像识别技术识别所述障碍物集合确定待抓取对象；基于所述待抓取对象在
AI
图像中的像素坐标
、
激光雷达坐标进行转化，得到第一坐标；基于所述第一坐标和每个所述障碍物对应的第二坐标计算，得到运行路线，所述第二坐标为每个所述障碍物对应的激光雷达坐标转化为像素坐标后得到的坐标；基于所述运行路线对所述待抓取对象进行抓取控制
。2.
根据权利要求1所述的基于
AI
视觉抓取的机械臂控制方法，其特征在于，基于
AI
图像识别技术识别所述障碍物集合确定待抓取对象包括：基于红外线相机获取所述障碍物集合中每个障碍物对应的图像信息；基于
AI
图像识别技术检测将所述图像信息与预设标签进行匹配，得到
AI
识别结果及其对应的标记值，所述预设标签是带有不同标记值的图像，所述标记值是针对物体的类型不同而设置不同的数值；判断所述标记值和是否在预设分值内，若是则为待抓取对象，否则为非待抓取对象
。3.
根据权利要求2所述的基于
AI
视觉抓取的机械臂控制方法，其特征在于，基于
AI
图像识别技术检测将所述图像信息与预设标签进行匹配，得到
AI
识别结果及其对应的标记值包括：基于激光雷达检测技术分别获取每个所述障碍物对应的激光雷达散射截面面积信息，确定目标半径；基于所述目标半径和预设分类条件，得到障碍物分类结果，所述预设分类条件是不同障碍物基于所述目标半径计算所得的分数阈值；当所述
AI
识别结果与所述障碍物分类结果为同一物体时，则对应得到所述标记值
。4.
根据权利要求1所述的基于
AI
视觉抓取的机械臂控制方法，其特征在于，基于所述待抓取对象在
AI
图像中的像素坐标
、
激光雷达坐标进行转化，得到第一坐标包括：基于棋盘格标定法对相机进行标定，并获取相机的内部参数和畸变系数；根据多组数据对利用
EPn P
算法进行计算，分别得到旋转矩阵和平移矩阵，所述数据对为同一所述待抓取对象对应的所述激光雷达坐标和所述像素坐标；基于所述旋转矩阵
、
所述平移矩阵
、
所述内部参数和所述畸变系数计算，得到第一坐标
。5.
根据权利要求1所述的基于
AI
视觉抓取的机械臂控制方法，其特征在于，基于所述第一坐标和每个所述障碍物对应的第二坐标计算，得到运行路线包括：将所述测待工作区域进行三维空间分割，得到多个大小一致的元胞体；根据每个所述第二坐标将对应的所述元胞体进行标记，得到障碍空间和通行空间；基于所述通行空间，以机械臂的手抓与所述第一坐标对应的所述元胞体为路径始
、
终点，以最短距离为目标利用
Dijkstra
算...

【专利技术属性】
技术研发人员：季丹，
申请(专利权)人：南京交通职业技术学院，
类型：发明
国别省市：