基于视觉引导的工业机器人自动销孔装配的方法技术

本发明专利技术提供了一种基于视觉引导的工业机器人自动销孔装配的方法，本发明专利技术利用CCD工业相机作为视觉系统，采用定位销轮廓识别算法、定位算法，完成包括定位销的识别、定位、抓取以及插孔等作业任务。本发明专利技术可精确估计定位销在空间中的位姿，精度高。本发明专利技术中图像匹配和识别均基于轮廓，容易实现，实时性好。本发明专利技术实现了基于单目手眼机械臂从零件抓取到插销作业的完全自动化，同时保持了硬件成本，提高了机器人的工作效率和质量。

【技术实现步骤摘要】

本专利技术涉及自动控制领域，具体涉及一种基于视觉引导的机械臂自动销孔装备的方法与系统。
技术介绍
销孔装配是工业生产线上工业机器人的一项重要工作。目前工业生产线上大部分的机器人仅能通过传统示教的方式在严格定义的结构化环境执行预定指令。这种方式存在两个问题，第一，对于环境的改变无法做出相应的调整，鲁棒性很差；第二，即使执行相同的指令，机器人的运动都会产生误差，影响插孔结果。近年来，利用视觉引导技术已经成为工业机器人获得周围环境和减小误差的主要手段，它使工业机器人有了一定的自主判断能力，增加了作业系统的灵活性和鲁棒性。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种基于视觉引导的工业机器人自动销孔装配的方法。根据本专利技术提供的一种基于视觉引导的工业机器人自动销孔装配的方法，包括：步骤1：在机械臂上安装摄像机；标定摄像机内参，获取摄像机坐标系与机器人坐标系的转换关系；步骤2：获取与待抓取定位销对应的特征模板图像作为识别定位依据；移动机械臂到定位销待抓取位置，摄像机采集待抓取定位销的数字图像，记为第一数字图像；步骤3：将第一数字图像与特征模板图像进行匹配，得到待抓取定位销的旋转角度及待抓取定位销的中心在机器人坐标系下的坐标；根据所述待抓取定位销的旋转角度及待抓取定位销的中心在机器人坐标系下的坐标，调整机械臂对定位销进行抓取；步骤4：利用机械臂上的末端执行器调整抓取后的定位销姿态，使定位销竖直向下；移动机械臂到待插孔位置，即定位销位于销孔的上方；步骤5：获取离线标定出的定位销在能够插入销孔的位置时的销孔图像标准圆心坐标、销孔图像标准半径R1，记为标准位置；摄像机采集销孔的数字图像，记为第二数字图像；步骤6：在第二数字图像中识别出销孔图像圆心坐标、销孔图像半径，并利用销孔实际半径与销孔图像半径，通过摄像机内参得到深度相对偏差；并计算销孔图像圆心坐标与销孔图像标准圆心坐标的平面相对偏差；若深度相对偏差、平面相对偏差均小于设定的偏差阈值，则进入步骤8继续执行；否则，则将深度相对偏差与平面相对偏差转换到机器人坐标系下，继续步骤7继续执行；步骤7：根据机器人坐标系下的深度相对偏差与平面相对偏差，移动机械臂来消除偏差，进入步骤5继续执行；步骤8：控制机械臂将定位销垂直插入销孔中。优选地，在所述步骤1中：摄像机坐标系与机器人坐标系的转换关系为：TCW＝TCE*TEW；其中，TCW表示摄像机坐标系与机器人坐标系变换矩阵，TEW表示机器人末端与机器人的坐标变换关系，TCE表示摄像机相对于机器人末端的外参数。优选地，在所述步骤2中：所述特征模板图像以定位销的边缘轮廓作为特征；所述定位销待抓取位置，是指移动摄像机至定位销存放平台上的设定高度，使摄像机光轴垂直于定位销存放平台的台面所在平面。优选地，所述步骤3包括：通过与特征模板图像进行匹配，在第一数字图像中得到相同的边缘轮廓；对通过匹配所得的边缘轮廓建立最小包络矩形，计算出最小包络矩形的中心点在第一数字图像中的坐标以及最小包络矩形的长边的旋转角度；所述最小包络矩形的长边的旋转角度是指，所述最小包络矩形的长边相对于特征模板图像中边缘轮廓所对应最小包络矩形的长边的夹角；根据所述最小包络矩形的中心点在第一数字图像中的坐标以及最小包络矩形的长边的旋转角度，利用摄像机内参，得到最小包络矩形在摄像机坐标系下的位姿，并通过所述摄像机坐标系与机器人坐标系的转换关系，得到最小包络矩形在机器人坐标系中的位姿；根据最小包络矩形在机器人坐标系中的位姿，调整机械臂抓取定位销。优选地，在所述步骤4中：所述移动机械臂到待插孔位置，是指：移动夹取定位销后的机械臂至销孔上方，旋转末端执行器的转轴，保持定位销和摄像机光轴都平行销孔轴向。优选地，所述步骤6包括：在第二数字图像中提取圆或圆弧的轮廓，拟合得到销孔图像圆心坐标、销孔图像半径；计算深度相对偏差： Δ z = r f ( ( R 1 - R 2 ) ( R 1 × R 2 ) ) ]]>其中，Δz表示深度相对偏差，r表示销孔实际半径，f为摄像机焦距，R1为销孔图像标准半径，R2为销孔图像半径；计算销孔图像圆心坐标与销孔图像标准圆心坐标的平面相对偏差；利用销孔图像半径R2与销孔实际半径r的比例，将深度相对偏差、平面相对偏差分别转变为深度实际偏差、平面实际偏差。优选地，所述步骤7包括：根据深度实际偏差、平面实际偏差移动移动机械臂来消除偏差。优选地，摄像机为CCD工业相机；执行器末端有一转轴用于调整定位销方向。与现有技术相比，本专利技术具有如下的有益效果：本专利技术利用CCD工业相机作为视觉系统，采用定位销轮廓识别算法、定位算法，完成包括定位销的识别、定位、抓取以及插孔等作业任务。本专利技术可精确估计定位销在空间中的位姿，精度高。本专利技术中图像匹配和识别均基于轮廓，容易实现，实时性好。本专利技术实现了基于单目手眼机械臂从零件抓取到插销作业的完全自动化，同时保持了硬件成本，提高了机器人的工作效率和质量。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1是本专利技术的主流程示意图。图2是本专利技术中机械臂与相机坐标系转换的关系图。图3是本专利技术所运用的末端执行器的结构图。图4是本专利技术机械臂抓取定位销的结构主视图。图5是本专利技术机械臂插孔作业时的结构主视图。图中：1-定位销2-销孔3-机械臂4-摄像机5-末端执行器6-定位销存放平台具体实施方式下面结合具体实施例对本专利技术进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本专利技术，但不以任何形式限制本专利技术。应当指出的是，对本领域的普通技术人员来说，在不脱离本专利技术构思的前提下，还可以做出若干变化和改进。这些都属于本专利技术的保护范围。本专利技术涉及工业自动化控制，针对当前工业控制中采用示教方式进行销孔装配中所产生的误差提供一种基于视觉反馈自动化定位销抓取及插孔作业的方法。该方法具体包括如下步骤：步骤一，建立系统参数化模型并完成手眼相机标定；步骤二，确定不同尺寸定位销特征模板；步骤三，在实际工件图像中搜索模板实例，并确定定位销位姿；步骤四，机器人按照计算的轨迹完成定位销抓取并调整抓取姿态；步骤五，确定可执行插孔作业时的圆孔在图像中的半径和圆心坐标，记为标准位置；步骤六，机器人移动到插孔上方附近，根据圆孔实际尺寸和图像大小，利用相机模型估计相机当前位置与标准位置的实际误差，并移动机械臂；步骤七，重复步骤五，六至机械臂移动到标准位置，完成插孔。根据本专利技术提供的一种基于视觉引导的工业机器人自动销孔装配的方法，包括：步骤1：在机械臂上安装摄像机；标定摄像机内参，获取摄像机坐标系与机器人坐标系的转换关系；步骤2：获取与待抓取定位销对应的特征模板图像作为识别定位依据；移动机械臂本文档来自技高网...

【技术保护点】
一种基于视觉引导的工业机器人自动销孔装配的方法，其特征在于，包括：步骤1：在机械臂上安装摄像机；标定摄像机内参，获取摄像机坐标系与机器人坐标系的转换关系；步骤2：获取与待抓取定位销对应的特征模板图像作为识别定位依据；移动机械臂到定位销待抓取位置，摄像机采集待抓取定位销的数字图像，记为第一数字图像；步骤3：将第一数字图像与特征模板图像进行匹配，得到待抓取定位销的旋转角度及待抓取定位销的中心在机器人坐标系下的坐标；根据所述待抓取定位销的旋转角度及待抓取定位销的中心在机器人坐标系下的坐标，调整机械臂对定位销进行抓取；步骤4：利用机械臂上的末端执行器调整抓取后的定位销姿态，使定位销竖直向下；移动机械臂到待插孔位置，即定位销位于销孔的上方；步骤5：获取离线标定出的定位销在能够插入销孔的位置时的销孔图像标准圆心坐标、销孔图像标准半径R1，记为标准位置；摄像机采集销孔的数字图像，记为第二数字图像；步骤6：在第二数字图像中识别出销孔图像圆心坐标、销孔图像半径，并利用销孔实际半径与销孔图像半径，通过摄像机内参得到深度相对偏差；并计算销孔图像圆心坐标与销孔图像标准圆心坐标的平面相对偏差；若深度相对偏差、平面相对偏差均小于设定的偏差阈值，则进入步骤8继续执行；否则，则将深度相对偏差与平面相对偏差转换到机器人坐标系下，继续步骤7继续执行；步骤7：根据机器人坐标系下的深度相对偏差与平面相对偏差，移动机械臂来消除偏差，进入步骤5继续执行；步骤8：控制机械臂将定位销垂直插入销孔中。...

【技术特征摘要】
1.一种基于视觉引导的工业机器人自动销孔装配的方法，其特征在于，包括：步骤1：在机械臂上安装摄像机；标定摄像机内参，获取摄像机坐标系与机器人坐标系的转换关系；步骤2：获取与待抓取定位销对应的特征模板图像作为识别定位依据；移动机械臂到定位销待抓取位置，摄像机采集待抓取定位销的数字图像，记为第一数字图像；步骤3：将第一数字图像与特征模板图像进行匹配，得到待抓取定位销的旋转角度及待抓取定位销的中心在机器人坐标系下的坐标；根据所述待抓取定位销的旋转角度及待抓取定位销的中心在机器人坐标系下的坐标，调整机械臂对定位销进行抓取；步骤4：利用机械臂上的末端执行器调整抓取后的定位销姿态，使定位销竖直向下；移动机械臂到待插孔位置，即定位销位于销孔的上方；步骤5：获取离线标定出的定位销在能够插入销孔的位置时的销孔图像标准圆心坐标、销孔图像标准半径R1，记为标准位置；摄像机采集销孔的数字图像，记为第二数字图像；步骤6：在第二数字图像中识别出销孔图像圆心坐标、销孔图像半径，并利用销孔实际半径与销孔图像半径，通过摄像机内参得到深度相对偏差；并计算销孔图像圆心坐标与销孔图像标准圆心坐标的平面相对偏差；若深度相对偏差、平面相对偏差均小于设定的偏差阈值，则进入步骤8继续执行；否则，则将深度相对偏差与平面相对偏差转换到机器人坐标系下，继续步骤7继续执行；步骤7：根据机器人坐标系下的深度相对偏差与平面相对偏差，移动机械臂来消除偏差，进入步骤5继续执行；步骤8：控制机械臂将定位销垂直插入销孔中。2.根据权利要求1所述的基于视觉引导的工业机器人自动销孔装配的方法，其特征在于，在所述步骤1中：摄像机坐标系与机器人坐标系的转换关系为：TCW＝TCE*TEW；其中，TCW表示摄像机坐标系与机器人坐标系变换矩阵，TEW表示机器人末端与机器人的坐标变换关系，TCE表示摄像机相对于机器人末端的外参数。3.根据权利要求1所述的基于视觉引导的工业机器人自动销孔装配的方法，其特征在于，在所述步骤2中：所述特征模板图像以定位销的边缘轮廓作为特征；所述定位销待抓取位置，是指移动摄像机至定位销存放平台上的设定高度，使摄像机光轴垂直于定位销存放平台的台面所在平面。4.根据权利要求1所述的基于视觉引导的工业机器人自动销孔装配的方法，其特征在于，所述步骤3包括：通过与特征模板图像进行匹配，在第一数字图像中得到相同的边缘轮廓；对通过匹配所得的边缘轮廓建立...

【专利技术属性】
技术研发人员：王贺升，蒋舵凡，陈卫东，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31