基于深度学习和激光的封顶管片自动拼装系统技术方案

本发明专利技术公布了一种基于深度学习和激光的封顶管片自动拼装系统，选择已经训练好的模型YOLOv5s，通过单目视觉智能相机对封顶管片的凹槽目标物进行识别定位进而计算出拼装机与封顶管片的相对位置，控制拼装机移动以及借助激光测距完成拼装机对封顶管片自动抓取；再通过单目视觉智能相机对已拼管片的凹槽目标物进行识别并计算出封顶管片与已拼管片的相对位置，控制拼装机移的自动拼装。最终实现封顶管片的自动抓取和拼装。本发明专利技术解决了封顶管片精度要求高的问题，提高了整个系统的鲁棒性，使得封顶管片自动拼装整个过程定位准确、耗时低、安全稳定。安全稳定。安全稳定。

【技术实现步骤摘要】
基于深度学习和激光的封顶管片自动拼装系统


[0001]本专利技术涉及机械工程
，具体涉及一种隧道施工的大尺寸封顶管片自动拼装系统。

技术介绍

[0002]自动拼装技术广泛用于机器人目标检测中，其大部分采用的是基于计算机视觉系统的识别和定位系统。视觉系统大多数是基于传统算法搭配单目视觉或双目视觉，在目标定位方面，大部分采用的是模板匹配算法。但传统算法技术存在图像识别定位效果不佳以及行进电机运动惯性导致的摇摆现象导致识别定位不准确等问题。作为本专利技术所需的可以结合的目标检测模型，其中有YOLOv5神经网络。如图1所示，为YOLOv5网络结构示意图。
[0003]在自动化程度较高的隧道的盾构法施工领域，存在管片自动抓取和拼装技术仍不成熟的现象，尤其是封顶管片要求的精度更高。传统的人工操作抓取和拼装封顶管片决定着这一环管片的拼装质量，因封顶管片两侧都是已拼管片，没有多余的旋转方向空间进行人工调整，所以对封顶管片拼装的精度要求最高，在拼装途中必须要求在已拼管片上方进行位置校准，相较于普通管片的平行拼装要更为困难，在狭小的拼装空间下人工操作很难对管片两侧进行校准。

技术实现思路

[0004]本专利技术旨在提出一种基于深度学习和激光的封顶管片自动拼装系统，通过基于YOLOv5神经网络识别定位来控制拼装机移动以及借助激光测距完成封顶管片自动拼装。
[0005]本专利技术利用以下技术方案实现：
[0006]一种基于深度学习和激光的封顶管片自动拼装系统，该系统包括通过局域网络连接的自动拼装控制单元和上位机，所述自动拼装控制单元进一步包括自动拼装机装置和YOLOv5目标检测模块，其中：
[0007]所述自动拼装机装置至少包括第一单目智能相机、第二单目智能相机、四个点激光位移传感器、两个一字阵列激光器、用于抓取盾构封顶管片的拼装机；所述第一单目智能相机和所述激光位移传感器安装在拼装机上与盾构机掘进方向相反的边缘位置，所述拼装机上垂直于掘进方向设置有两个定位销，所述第二单目智能相机和所述一字阵列激光器安装在拼装机的侧边缘，且所述一字阵列激光器位于两个定位销中心连线的两侧端点上；所述激光位移传感器用于测量拼装机位移；所述一字阵列激光器用于测量封顶管片和已拼管片的相对高度，进行封顶管片和已拼管片的准直；
[0008]所述YOLOv5目标检测模块，用于利用YOLOv5网络训练好的权重模型YOLOv5s预测和识别第一单目智能相机所拍摄的图像中封顶管片上的凹槽目标物的位置，对封顶管片的凹槽目标物进行识别定位；以及预测和识别第二单目智能相机所拍摄的图像中，对已拼管片的凹槽目标物进行识别定位；
[0009]所述自动拼装控制单元，用于根据封顶管片的凹槽目标物的识别定位计算出拼装
机与封顶管片的相对偏移量，控制拼装机移动，完成自动拼装机对封顶管片的自动抓取；之后，根据已拼管片的凹槽目标物的识别定位计算出封顶管片与已拼管片的高度差，控制拼装机进行封顶管片拼装，封顶管片与两侧已拼管片平行，实现封顶管片侧边平面调平；
[0010]所述上位机，用于对自动拼装控制单元发出控制命令。
[0011]所述自动拼装控制单元包括以下控制流程：
[0012]步骤一、预先设定粗定位位置为封顶管片的正上方，将拼装机送入粗定位位置，准备进行封顶管片自动抓取；
[0013]步骤二、当所述拼装机在所述封顶管片正上方时，所述第一单目智能相机在凹槽目标物正上方，利用第一单目智能相机拍摄并且识别凹槽目标物的位置坐标值，结合点激光位移传感器的测距结果调整拼装机，判断调整是否达到标定误差允许范围？具体地，上位机通过局域网络连接第一单目智能相机获取当前视场图片，利用YOLOv5网络训练好的模型YOLOv5s对视场中封顶管片上的凹槽目标物进行预测，再利用OpenCV的最小外接矩形算法对预测框进行优化处理，得到凹槽目标物的中心坐标，从而确定封顶管片的多自由度位置信息；
[0014]若未达到标定误差允许范围，则返回步骤二，继续不断地用第一单目智能相机拍摄，继续识别凹槽目标物的位置值，结合点激光位移传感器的测距结果继续调整拼装机，直至达到标定误差允许范围；
[0015]步骤三，若达到标定误差允许范围，进行封顶管片自动抓取，将抓取的封顶管片送到粗定位位置；
[0016]步骤四、继续用第一单目智能相机进行拍摄，识别封顶管片与上一环已拼管片上的凹槽目标物，计算封顶管片与上一环已拼管片上的凹槽目标物之间的平面相对位置；另外，用第二单目智能相机进行拍摄，利用YOLOv5网络训练好的模型YOLOv5s对视场中封顶管片上的凹槽目标物进行预测，再利用OpenCV的最小外接矩形算法对预测框进行优化处理，得到当前状态下封顶管片上的凹槽目标物的中心坐标，结合一字阵列激光测量结果，计算封顶管片与已拼管片的相对高度，依据封顶管片与已拼管片的相对高度调整拼装机，判断是否达到标定误差允许范围？
[0017]步骤五、如达到标定误差允许范围，则进行自动拼装，完成一环管片；
[0018]如未达到标定误差允许范围，返回步骤四的操作，直至达到标定误差允许范围。
[0019]根据结合点激光位移传感器的测距结果调整拼装机包括调整拼装机平行于盾构机掘进方向的滑动自由度、垂直于掘进方向的环向旋转自由度、垂直于地面的伸缩自由度及以封顶管片为轴点的横摇自由度和俯仰自由度。
[0020]所述第一单目智能相机和所述点激光位移传感器的光轴与封顶管片的表面垂直；所述第二单目智能相机的光轴与当前环已拼管片的表面垂直。
[0021]所述凹槽目标物在封顶管片的边缘关于封顶管片几何中心轴对称。
[0022]与现有技术相比，本专利技术的基于深度学习和激光的封顶管片自动拼装系统能够达到以下的技术效果：
[0023]1)在基于神经网络识别定位的过程中，成功克服在复杂环境下目标识别不准确、行进电机运动惯性导致的图像振荡问题，通过YOLOv5网络结合OpenCV最小外接矩形算法解决了封顶管片精度要求高的问题，提高了整个系统的鲁棒性，使得封顶管片自动拼装整个
过程定位准确、耗时低、安全稳定；
[0024]2)实现了封顶管片侧边平面调平，从而保证激光测距传感器测量的准确度。
附图说明
[0025]图1为YOLOv5网络结构示意图；
[0026]图2为本专利技术的基于深度学习和激光的封顶管片自动拼装系统架构示意图；
[0027]图3为自动拼装机结构示意图；(3a)主视图，(3b)俯视图；
[0028]图4为凹槽目标物结构示意图；
[0029]图5为封顶管片结构示意图；
[0030]图6为本专利技术的基于深度学习和激光的封顶管片自动拼装方法整体流程图；
[0031]图7为自动拼装控制单元的图像处理流程图；
[0032]图8为最小外接矩形算法示意图；
[0033]图9为一字阵列激光器辅助单目智能相机调平封顶管片侧边的原理示意图；
[0034]图10为整体拼装管片实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习和激光的封顶管片自动拼装系统，其特征在于，该系统包括通过局域网络连接的自动拼装控制单元和上位机，所述自动拼装控制单元进一步包括自动拼装机装置和YOLOv5目标检测模块，其中：所述自动拼装机装置至少包括第一单目智能相机、第二单目智能相机、四个点激光位移传感器、两个一字阵列激光器、用于抓取盾构封顶管片的拼装机；所述第一单目智能相机和所述激光位移传感器安装在拼装机上与盾构机掘进方向相反的边缘位置，所述拼装机上垂直于掘进方向设置有两个定位销，所述第二单目智能相机和所述一字阵列激光器安装在拼装机的侧边缘，且所述一字阵列激光器位于两个定位销中心连线的两侧端点上；所述激光位移传感器用于测量拼装机位移；所述一字阵列激光器用于测量封顶管片和已拼管片的相对高度，进行封顶管片和已拼管片的准直；所述YOLOv5目标检测模块，用于利用YOLOv5网络训练好的权重模型YOLOv5s预测和识别第一单目智能相机所拍摄的图像中封顶管片上的凹槽目标物的位置，对封顶管片的凹槽目标物进行识别定位；以及预测和识别第二单目智能相机所拍摄的图像中，对已拼管片的凹槽目标物进行识别定位；所述自动拼装控制单元，用于根据封顶管片的凹槽目标物的识别定位计算出拼装机与封顶管片的相对偏移量，控制拼装机移动，完成自动拼装机对封顶管片的自动抓取；之后，根据已拼管片的凹槽目标物的识别定位计算出封顶管片与已拼管片的高度差，控制拼装机进行封顶管片拼装，封顶管片与两侧已拼管片平行，实现封顶管片侧边平面调平；所述上位机，用于对自动拼装控制单元发出控制命令。2.如权利要求1所述的一种基于深度学习和激光的封顶管片自动拼装系统，其特征在于，所述自动拼装控制单元包括以下控制流程：步骤一、预先设定粗定位位置为封顶管片的正上方，将拼装机送入粗定位位置，准备进行封顶管片自动抓取；步骤二、当所述拼装机在所述封顶管片正上方时，所述第一单目智能相机在凹槽目标物正上方，利用第一单目智能相机拍摄并且识别凹槽目标物的位置坐标值，进行拼装机与封顶管片的相对位置检测，结合点激光位移传感器的测距结果调整拼装机，逐步控制拼装机移动至管片正上方，判断调整是否达到标定误差允许范围？具体地，上位机通过局域网络连接第一单目智能相机获取当前视场图片，利用YOLOv5网络训练好的模型YOLOv5s对视场中封顶管片上的凹槽目标物进行预测，再利用OpenCV的最小外接矩形算法对预测框进行优化处理，得到凹槽目标物的中心坐标，从而确定封顶管片的多自由度位置信息；若未达到标定误差允许范围，则返回步骤二，继续不断地用第一单目智能相机拍摄，继续识别凹槽目标物的位置值，结合点激光位移传感器的测距结果继续调整拼装机，直至达到标定误差允许范围；步骤三，若达到标定误差允许范围，进行封顶管片自动抓取，将抓取的封顶管片送到粗定位位置；步骤四、继续用第一单目智能相机进行拍摄，识别封顶管片与上一环已拼管片上的凹槽目标物，计算封顶管片与上一环已拼管片上的凹槽目标物之间的平面相对位置；另外，用第二单目智能相机进行拍摄，利用YOLOv5网络训练好的模型YOLOv5s对视场中封顶管片上的凹槽目标物进行预测，再利用...

【专利技术属性】
技术研发人员：王双，聂辰一，吴志洋，郭素阳，刘铁根，江俊峰，甘伟荣，
申请(专利权)人：中交天和机械设备制造有限公司，
类型：发明
国别省市：