一种基于多维度特征融合的零件识别装配方法和装置制造方法及图纸

本发明专利技术涉及智能机械设备技术领域，提供了一种基于多维度特征融合的零件识别装配方法和装置。方法包括根据待识别目标的特征，进行目标识别；在感兴趣区域对图像进行处理，提取出轮廓，然后利用三角测量法确定出圆环工件相对于相机的三维坐标；根据手眼标定的结果，将该三维坐标转换到机械臂坐标系下，控制机械臂进行抓取。本发明专利技术对使用双目视觉很好的识别、定位圆环工件并通过上位机将圆环工件的位置信息发送给基于多维度特征融合的零件识别装配机械臂进行抓取。针对计算机视觉和机械臂相结合的相关技术进行结合，将三维结构光技术和机械臂相结合，实现了机械臂对目标的识别、定位和抓取。

A method and device of part recognition and assembly based on multi dimension feature fusion

【技术实现步骤摘要】
一种基于多维度特征融合的零件识别装配方法和装置
本专利技术涉及智能机械设备
，特别是涉及一种基于多维度特征融合的零件识别装配方法和装置。
技术介绍
传统的工业机械臂只能按照事先规划好的轨迹移动，不能够获取外界信息，限制了应用范围。为了增强机械臂的灵活性，现在已经有研究将机器视觉应用在机械臂控制中，但是现阶段很多机械臂控制中应用的机器视觉是单目的，并且是固定在传送带上某一个确定位置，采用这种形式的机器视觉系统对目标的定位不够精确，灵活性差。鉴于此，克服该现有技术所存在的缺陷是本
亟待解决的问题。
技术实现思路
本专利技术要解决的技术问题是现阶段很多机械臂控制中应用的机器视觉是单目的，并且是固定在传送带上某一个确定位置，采用这种形式的机器视觉系统对目标的定位不够精确，灵活性差。本专利技术采用如下技术方案：第一方面，本专利技术提供了一种基于多维度特征融合的零件识别装配方法，预先对相机、结构光系统分别进行标定，确定相机的参数，并对机械臂和相机进行结构光系统标定或者手眼标定，以及，将不同形状的工件作为待检测目标，通过计算机视觉中的图像处理算法将工件特征提取，所述方法包括：根据待识别目标的特征，进行目标识别；在感兴趣区域对图像进行处理，提取出轮廓，然后利用三角测量法确定出圆环工件相对于相机的三维坐标；根据手眼标定的结果，将该三维坐标转换到机械臂坐标系下，控制机械臂进行抓取。优选的，所述相机的参数包括：焦距、光轴、径向畸变和切向畸变中的一项或者多项。优选的，所述待识别目标的特征包括：三维特征、拓扑特征、二维表面特征点中的一种或者多种，并将包含所述待识别目标的特征区域范围，作为图像的感兴趣区域。优选的，所述三维特征中，具体包括：半径、高程差、高程标准差和点密度中的一项或者多项三维几何特征；线性特征、平面特征、散乱特征、总方差、各向异性、特征熵、特征值和曲率中的一项或者多项三维局部形状特征。优选的，所述二维表面特征点，具体包括：将二维滤波器对应的矩阵水平翻转，竖直翻转；把这个滤波器矩阵，覆盖到图像上方；将滤波器矩阵的每一个元素，同下方图像的每一个元素相乘，再把所有的乘积加起来，并不断移动这个滤波器矩阵；每移动一格，对应得到一个值；当滤波器矩阵扫过原来的图像的所有位置的时候，我们就得到了一个新的图像；这个图像就是原来的图像经过该二维滤波器的输出，从而获得二维表面特征点。优选的，预先对相机进行标定，具体包括：设定模板平面在世界坐标系Z＝0的平面上；H＝[h1h2h3]＝λK[r1r2t]，其中，K为摄像机的内参数矩阵，r1和r2是旋转向量，h1、h2和h3为转化参数，由上式中的λK[r1r2t]求解得到，λ代表相机离标定板距离，为模板平面上点的齐次坐标，X和Y是世界坐标，是像素平面上点的齐次坐标，u和v分别代表x轴和y轴的像素坐标，为模板平面上点投影到图象平面上对应点的齐次坐标，[r1r2r3]和t分别是摄像机坐标系相对于世界坐标系的旋转矩阵和平移向量；根据旋转矩阵的性质：r1Tr2＝0和||r1||＝||r2||＝1，每幅图象可以获得以下两个对内参数矩阵的基本约束；其中，摄像机有5个未知内参数，当所摄取得的图象数目大于等于3时，就可以线性唯一求解出K。优选的，所述结构光系统标定包括：在平台上放置标定用对象，测量标定用对象到激光器和摄像头连线的一系列实际距离值qi，以及每个距离值对应的由摄像头采集的标定图像；获取所述标定图像中预设标定点位的间距pxi，带入由相似三角形得到公式中，计算得到各相关参数的标定数据；其中，f为摄像头中镜头到图像传感器距离，s为摄像头与激光器的间距，PixelSize为图像像素的物理尺寸，offset为图像原点相对于三角测距中图像边缘的偏置距离。优选的，所述结构光系统标定包括利用九点标定直接建立相机和机械手之间的坐标变换关系，具体包括：控制机械手的末端抵达预设的9个点，得到在机器人坐标系中的坐标，同时还要用相机识别9个点得到像素坐标，从而得到了9组对应的坐标，求出标定的矩阵。优选的，所述机械臂具体为6自由度机械臂，其舵机0、舵机1、舵机2、舵机3和舵机4依次相连，为水平旋转舵机，舵机5为控制机械手抓取的舵机，其中，舵机0为可在水平面上旋转的的舵机，舵机1、舵机2、舵机3和舵机4为竖直旋转舵机，具体的：机械臂三连杆长度分别为l1、l2、l3，舵机0的水平旋转角度为θ0，舵机1的竖直面旋转角度为θ1，舵机2的竖直面旋转角度为θ2，舵机3的竖直面旋转角度为θ3，舵机4的竖直面旋转角度为θ4，舵机5的竖直面旋转角度为θ5；以机械臂底座旋转中心为三维坐标系原点，根据目标点三维坐标P(x，y，z)与机械臂原点O(0，0，0)距离|PO|判定，若|PO|≤l1+l2+l3，则机械臂可达；若|PO|＞l1+l2+l3，则机械臂不可达；若可达，则根据目标点三维坐标P(x，y，z)计算出舵机0的旋转角度为Arctan(m/n)，其中m和n为舵机1所在点坐标。第二方面，本专利技术还提供了一种基于多维度特征融合的零件识别装配装置，用于实现第一方面所述的基于多维度特征融合的零件识别装配方法，所述装置包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被程序设置为执行第一方面所述的基于多维度特征融合的零件识别装配方法。第三方面，本专利技术还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，用于完成第一方面所述的基于多维度特征融合的零件识别装配方法。本专利技术对使用双目视觉很好的识别、定位圆环工件并通过上位机将圆环工件的位置信息发送给机械臂控制机械臂进行抓取。针对计算机视觉和机械臂相结合的相关技术进行结合，将三维结构光技术和机械臂相结合，实现了机械臂对目标的识别、定位和抓取。【附图说明】为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种基于多维度特征融合的零件识别装配方法流程示意图；图2是本专利技术实施例提供的一种基于多维度特征融合的零件识别装配方法中提取二维表面特征点的流程示意图；图3是本专利技术实施例提供的一种基于多维度特征融合的零件识别装配方法中结构光系统定标方法流程图；图4是本专利技术实施例提供的一种基于多维度特征融合的零件识别装配方法中结构光系统定标架构示意图；图5是本专利技术实施例提供的一种基于多维度特征融合的零件识别装配方法中结构光本文档来自技高网...

【技术保护点】
1.一种基于多维度特征融合的零件识别装配方法，其特征在于，预先对相机、结构光系统分别进行标定，确定相机的参数，并对机械臂和相机进行结构光系统标定或者手眼标定，以及，将不同形状的工件作为待检测目标，通过计算机视觉中的图像处理算法将工件特征提取，所述方法包括：/n根据待识别目标的特征，进行目标识别；/n在感兴趣区域对图像进行处理，提取出轮廓，然后利用三角测量法确定出圆环工件相对于相机的三维坐标；/n根据手眼标定的结果，将该三维坐标转换到机械臂坐标系下，控制机械臂进行抓取。/n

【技术特征摘要】
1.一种基于多维度特征融合的零件识别装配方法，其特征在于，预先对相机、结构光系统分别进行标定，确定相机的参数，并对机械臂和相机进行结构光系统标定或者手眼标定，以及，将不同形状的工件作为待检测目标，通过计算机视觉中的图像处理算法将工件特征提取，所述方法包括：
根据待识别目标的特征，进行目标识别；
在感兴趣区域对图像进行处理，提取出轮廓，然后利用三角测量法确定出圆环工件相对于相机的三维坐标；
根据手眼标定的结果，将该三维坐标转换到机械臂坐标系下，控制机械臂进行抓取。


2.根据权利要求1所述的基于多维度特征融合的零件识别装配方法，其特征在于，所述待识别目标的特征包括：
三维特征、拓扑特征、二维表面特征点中的一种或者多种，并将包含所述待识别目标的特征区域范围，作为图像的感兴趣区域。


3.根据权利要求2所述的基于多维度特征融合的零件识别装配方法，其特征在于，所述三维特征中，具体包括：
半径、高程差、高程标准差和点密度中的一项或者多项三维几何特征；
线性特征、平面特征、散乱特征、总方差、各向异性、特征熵、特征值和曲率中的一项或者多项三维局部形状特征。


4.根据权利要求2所述的基于多维度特征融合的零件识别装配方法，其特征在于，所述二维表面特征点，具体包括：
将二维滤波器对应的矩阵水平翻转，竖直翻转；
把这个滤波器矩阵，覆盖到图像上方；将滤波器矩阵的每一个元素，同下方图像的每一个元素相乘，再把所有的乘积加起来，并不断移动这个滤波器矩阵；
每移动一格，对应得到一个值；
当滤波器矩阵扫过原来的图像的所有位置的时候，我们就得到了一个新的图像；这个图像就是原来的图像经过该二维滤波器的输出，从而获得二维表面特征点。


5.根据权利要求1所述的基于多维度特征融合的零件识别装配方法，其特征在于，预先对相机进行标定，具体包括：
设定模板平面在世界坐标系Z＝0的平面上；
H＝[h1h2h3]＝λK[r1r2t]，
其中，K为摄像机的内参数矩阵，r1和r2是旋转向量，h1、h2和h3为转化参数，由上式中的λK[r1r2t]求解得到，λ代表相机离标定板距离，为模板平面上点的齐次坐标，X和Y是世界坐标，是像素平面上点的齐次坐标，u和v分别代表x轴和y轴的像素坐标，为模板平面上点投影到图象平面上对应点的齐次坐标，[r1r2r3]和t分别是摄像机坐标系相对于世界坐标系的旋转矩阵和平移向量；
根据旋转矩阵的性质：r1Tr2＝0和||r1||＝||r2||＝1，每幅图象可以获得以下两个对内参数矩阵的基本约束；






其中，摄像机有5个未知内参数，当所摄取得的图象数目大于等于3时，就可以线性唯一求解出K。


6.根据权利要求1所述的基于多维度特征融合的零件识别装配方法，其特征在于，所述结构...

【专利技术属性】
技术研发人员：王国平，郭彦彬，刘迎宾，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北;42