一种基于动态基准线的集卡作业引导方法及系统技术方案

本发明专利技术涉及一种基于动态基准线的集卡作业引导方法及系统，方法包括：摄像装置采集集卡的作业现场的视频流，在视频流的显示画面上设置标定线；图像识别装置根据AI图像识别模型来识别出集卡进入视线时集卡的集装箱或拖挂的位置；将显示画面上的标定线与识别出的集装箱或拖挂的位置进行像素距离比对，通过像素距离比对来计算出现实中需要引导集卡实际前进或后退的距离，整个过程简单高效，无需人为来引导，也不用司机自行定位，通过智能设备来进行对位引导，其对位精确度高。其对位精确度高。其对位精确度高。

【技术实现步骤摘要】
一种基于动态基准线的集卡作业引导方法及系统


[0001]本专利技术涉及集卡定位
，尤其是涉及一种基于动态基准线的集卡作业引导方法及系统。

技术介绍

[0002]集装箱是港口运输、装卸的重要物流工具。现阶段港口进行集装箱装卸作业时，龙门吊司机使用操作手柄手动控制吊具，进行集装箱的对位和抓取。操作过程中，司机需注意力高度集中，长时间作业会导致司机疲劳，进而降低对位作业效率和精确性。
[0003]货船在装卸集装箱过程中，桥吊的位置是固定不动的。前一辆集装箱车装卸完后，后一辆集装箱就需要开到指定位置，因此集装箱车一般情况下都比吊具提前到位。
[0004]集装箱卡车(简称“集卡”)和作业设备进行对位是码头的基础作业，实现精确快速引导集卡对位作业，成为诸多码头的研究重点。
[0005]现有技术是集卡司机自行对位，即集卡司机根据作业设备的位置通过目视来自行进行对位。由于每个司机的对位水平不同，会导致对位无法快速完成，影响作业效率，未来集卡无人化后，也无法满足其作业。现在的一些码头会采用激光来进行集卡作业引导，但是激光的成本很高，精度也低。

技术实现思路

[0006]本专利技术所要解决的技术问题是提供一种灵活性强、作业效率高、成本低、对位精准度高，且硬件依赖度低的基于动态基准线的集卡作业引导方法。
[0007]本专利技术所采用的技术方案是，一种基于动态基准线的集卡作业引导方法，包括下列步骤：
[0008](1)、摄像装置采集集卡的作业现场的视频流，在视频流的显示画面上设置标定线，所述标定线根据不同尺寸的集装箱来进行匹配；
[0009](2)、图像识别装置根据AI图像识别模型来识别出集卡进入视线时集卡的集装箱或拖挂的位置；
[0010](3)、将显示画面上的标定线与识别出的集装箱或拖挂的位置进行像素距离比对，通过像素距离比对来计算出现实中需要引导集卡实际前进或后退的距离。
[0011]本专利技术的有益效果是：采用上述一种基于动态基准线的集卡作业引导方法，该方法通过摄像装置与AI图像识别模型来结合对集卡作业进行引导，其成本大大降低，并且灵活性强，在对集卡进行引导作业之前，事先设置不同集卡对应的标定线，然后根据要进现场的集卡来选择出对应匹配的标定线，将标定线与识别出的集卡的集装箱或拖挂的位置进行像素距离比对计算出两者的像素距离差，根据像素距离差来计算出现实中需要引导集卡实际前进或后退的距离，整个过程简单高效，无需人为来引导，也不用司机自行定位，通过智能设备来进行对位引导，其对位精确度高，该方法还能够同时支持多个车道来同步识别判断与引导集卡，提高集卡作业效率。
[0012]作为优选，步骤(1)中，在视频流的显示画面上设置标定线的具体过程为：通过集卡监控中心获取到即将进入作业现场的集卡的对应集装箱尺寸，根据集装箱尺寸从标定线数据库中调用与之匹配的标定线。
[0013]作为优选，步骤(1)中，标定线数据库是由若干不同的标定线组成的，标定线数据库生成的具体过程为：在作业现场的作业设备上画出实际用于与集卡进行对位的对位线，不同箱体尺寸的集卡对应不同的对位线，将摄像装置安装在作业现场的任意位置，且使摄像装置的镜头视线能够完全捕获到对位线，使对位线处于摄像装置的显示画面上，在显示画面上描绘出对位线所在的位置，即为标定线，并将该标定线保存，将在不同位置的摄像装置下描绘的不同箱体尺寸的集卡匹配的标定线组成标定线数据库。该种方法无需考虑摄像装置的安装位置，且对摄像装置的安装公差要求低，摄像装置的安装位置不固定，具有良好的环境适应性，并且在桥吊发生震动导致摄像装置偏斜时，该种方法也方便工人调节摄像装置的视线来进行集卡对位引导；日常对摄像头的维护和更换也极其方便简单，无需专业人员处理。
[0014]作为优选，步骤(2)中，根据AI图像识别模型来识别出集卡进入视线时集卡的集装箱或拖挂的位置的具体方法为：
[0015](2
‑
1)、收集大量的集卡图片，在图片上将拖挂或者集装箱标注出来，将标注后的图片输入到CNN神经网络模型中进行训练和蒸馏，得到AI图像识别模型，将AI图像识别模型集成到图像识别模块上；
[0016](2
‑
2)、通过RTSP协议将摄像装置实时采集的视频流接入到图像采集模块，图像采集模块对视频流的每一帧进行截取；
[0017](2
‑
3)、图像处理模块对截取的每一张图像进行二值化处理，经过二值化处理的图片输入到对象识别模型中，对象识别模型得到集卡上的集装箱或拖挂的实例分割图。
[0018]作为优选，步骤(3)中，将显示画面上的标定线与识别出的集装箱或拖挂的位置进行像素距离比对的具体过程为：图像计数模块根据得到的集卡上的集装箱或拖挂的实例分割图，得出集卡上集装箱的位置坐标或者拖挂的位置坐标，将该位置坐标与集卡对应的标定线的坐标进行比对，然后计数出两者之间的像素距离差。
[0019]作为优选，步骤(3)中，根据像素距离差来计算出现实中需要引导集卡实际前进或后退的距离的具体过程为：根据视觉世界与真实世界的比例来计算出像素距离差对应的现实地理距离差，根据得到的现实地理距离差来引导集卡实际前进或后退的距离。视觉世界与真实世界的比例的计算方法为：根据摄像装置的参数来进行映射，得出摄像装置一个像素距离所对应的现实地理距离，一个像素距离与对应的现实地理距离之间的比例就是视觉世界与真实世界的比例。
[0020]作为优选，所述标定线包括与集卡上集装箱或拖挂的左侧面对齐的左竖线以及与集卡上集装箱或拖挂的右侧面对齐的右竖线。
[0021]作为优选，所述标定线包括与集卡上集装箱或拖挂的左侧面对齐的左竖线、与集卡上集装箱或拖挂的中心对应的中竖线以及与集卡上集装箱或拖挂的右侧面对齐的右竖线。
[0022]一种基于动态基准线的集卡作业引导系统，包括：
[0023]摄像装置，采集集卡的作业现场的视频流；
[0024]标定模块，包括标定线数据库，所述标定线数据库由在不同位置的摄像装置下生成的不同箱体尺寸的集卡匹配的标定线组成，标定模块通过调用标定线数据库中的标定线来对匹配的集卡进行标定，标定线的生成方法为：在作业现场的作业设备上画出实际用于与集卡进行对位的对位线，不同箱体尺寸的集卡对应不同的对位线，将摄像装置安装在作业现场的任意位置，摄像装置的镜头中心与对位线的中心粗略对准，使对位线在显示画面上能位于显示画面的中间位置，在显示画面上描绘出对位线所在的位置，即为标定线，并将该标定线保存；
[0025]图像采集模块，通过RTSP协议将摄像装置实时采集的视频流接入到图像采集模块，图像采集模块对视频流的每一帧进行截取；
[0026]图像识别模块，包括AI图像识别模型，所述AI图像识别模型的形成过程为：收集大量的集卡图片，在图片上将拖挂或者集装箱标注出来，将标注后的图片输入到CNN神经网络模型中进行训练和蒸馏，得到AI图像识别模型；
[0027]图像处理模块，将图像采集模块截取的每本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于动态基准线的集卡作业引导方法，其特征在于：包括下列步骤：(1)、摄像装置采集集卡的作业现场的视频流，在视频流的显示画面上设置标定线，所述标定线根据不同尺寸的集装箱来进行匹配；(2)、图像识别装置根据AI图像识别模型来识别出集卡进入视线时集卡的集装箱或拖挂的位置；(3)、将显示画面上的标定线与识别出的集装箱或拖挂的位置进行像素距离比对，通过像素距离比对来计算出现实中需要引导集卡实际前进或后退的距离。2.根据权利要求1所述的一种基于动态基准线的集卡作业引导方法，其特征在于：步骤(1)中，在视频流的显示画面上设置标定线的具体过程为：在集卡进入作业现场之前，通过集卡监控中心获取到即将进入作业现场的集卡的对应集装箱尺寸，根据集装箱尺寸从标定线数据库中调用与之匹配的标定线。3.根据权利要求2所述的一种基于动态基准线的集卡作业引导方法，其特征在于：步骤(1)中，标定线数据库是由若干不同的标定线组成的，标定线数据库生成的具体过程为：在作业现场的作业设备上画出实际用于与集卡进行对位的对位线，不同箱体尺寸的集卡对应不同的对位线，将摄像装置安装在作业现场的任意位置，且使摄像装置的镜头视线能够完全捕获到对位线，使对位线处于摄像装置的显示画面上，在显示画面上描绘出对位线所在的位置，即为标定线，并将该标定线保存，将在不同位置的摄像装置下描绘的不同箱体尺寸的集卡匹配的标定线组成标定线数据库。4.根据权利要求1所述的一种基于动态基准线的集卡作业引导方法，其特征在于：步骤(2)中，根据AI图像识别模型来识别出集卡进入视线时集卡的集装箱或拖挂的位置的具体方法为：(2
‑
1)、收集大量的集卡图片，在图片上将拖挂或者集装箱标注出来，将标注后的图片输入到CNN神经网络模型中进行训练和蒸馏，得到AI图像识别模型，将AI图像识别模型集成到图像识别模块上；(2
‑
2)、通过RTSP协议将摄像装置实时采集的视频流接入到图像采集模块，图像采集模块对视频流的每一帧进行截取；(2
‑
3)、图像处理模块对截取的每一张图像进行二值化处理，经过二值化处理的图片输入到对象识别模型中，对象识别模型得到集卡上的集装箱或拖挂的实例分割图。5.根据权利要求4所述的一种基于动态基准线的集卡作业引导方法，其特征在于：步骤(3)中，将显示画面上的标定线与识别出的集装箱或拖挂的位置进行像素距离比对的具体过程为：图像计数模块根据得到的集卡上的集装箱或拖挂的实例分割图，得出集卡上集装箱的位置坐标或者拖挂的位置坐标，将该位置坐标与集卡对应的标定线的坐标进行比对，然后计数出两者之间的像素距离差...

【专利技术属性】
技术研发人员：张冉，顾卡杰，
申请(专利权)人：宁波大榭招商国际码头有限公司，
类型：发明
国别省市：