一种基于视觉的集装箱码头集卡车检测方法技术

本发明专利技术公开了一种基于视觉的集装箱码头集卡车检测方法，包括如下步骤：通过相机自身固有参数以及相机安装的机械参数，标定出具体的车道线区域、作业箱位区域、通过线区域；采集带有标定信息的图像数据；通过图像处理和深度学习的方法对采集到的图像数据进行识别跟踪；对识别跟踪到的集卡车车头、集装箱、集卡车托架信息进行业务流程处理；结合当前起重机作业的数据进行筛选集成，将目标车辆对应的作业信息输出到自动化系统。本发明专利技术实现了低成本、高可靠性、全面感知集卡车作业场景的信息，有效地解决了集装箱起重机自动化系统的输入问题，优化了集装箱码头船舶装卸流程，同时有效提高了自动化作业效率。了自动化作业效率。了自动化作业效率。

【技术实现步骤摘要】
一种基于视觉的集装箱码头集卡车检测方法


[0001]本专利技术涉及集装箱码头集装箱起重机下的集卡车检测
，尤其涉及一种基于视觉的集装箱码头集卡车检测方法。

技术介绍

[0002]在集装箱起重机自动化作业过程中，对集卡车来车作业场景的自动感知是整体自动化系统的关键环节，是自动化系统中其它子系统工作的关键信息来源，如集卡车对位子系统、集卡车车道侧自动着箱子系统、集卡车车牌和车顶号识别子系统、集装箱箱号识别子系统等。目前自动化系统采用的集卡车来车作业场景感知的技术方案主要有：
[0003]1)基于电子标签的集卡车检测方法；该方法主要在老旧设备自动化改造码头常见，主要原理为电子标签阅读器与标签之间进行非接触式的数据通讯；因此需要事先对所有起重机安装电子标签阅读器，对所有作业集卡车安装电子标签。该方法具有适应性高、简单易实施等优点；但也存在易被篡改、安全性不高、技术标准不统一等缺点，同时该方法只能解决有无集卡车的问题，是否载箱、进车方向等更多的场景信息无法感知获得。
[0004]2)基于地磁定位的集卡车检测方法；该方法主要在新型规划建设的自动化码头常见，作业的集卡车局限为昂贵的自动导引车(AGV)；其主要原理为在AGV设备上安装磁导航传感器，在起重机作业场区地面内规划埋设磁钉，AGV设备上的磁导航传感器通过检测地面铺设的磁钉来进行定位，并将定位信息发送给自动化系统，由自动化系统对实现起重机与AGV设备的匹配，从而实现AGV作业场景的感知；该方法适用性差、实施复杂、成本很高；同时该方法与基于电子标签的集卡车检测方法相同，只能解决有无AGV来车的问题，对于更详细的场景信息无法感知获得。
[0005]3)基于激光扫描仪的集卡车检测方法；该方法主要原理为将激光扫描仪传感器安装在集装箱起重机设备上，位于集卡车作业车道的上方，通过对集卡车道进行实时扫描检测，并对激光扫描数据处理，实现集卡车作业场景信息的感知，可获取的信息包括：是否来车，集卡车朝向、是否载箱，载箱位置等。但该方法采用的激光扫描仪传感器较为昂贵，可感知范围较小，同时激光扫描仪极易受雨雪天气影响，导致无法正常工作。
[0006]基于以上情况，自动化码头现有的集卡车作业场景感知技术方案的缺点，已经在一定程度上严重制约自动化的发展进程。因此，如何低成本、高可靠性、全面感知集卡车作业场景的信息，已经成为自动化码头建设急迫解决的技术难题。

技术实现思路

[0007]为了克服现有技术的上述缺点，本专利技术提出了一种基于视觉的集装箱码头集卡车检测方法。
[0008]本专利技术解决其技术问题所采用的技术方案是：一种基于视觉的集装箱码头集卡车检测方法，包括如下步骤：
[0009]步骤S1：通过相机自身固有参数以及相机安装的机械参数，标定出具体的车道线
区域、作业箱位区域、通过线区域；
[0010]步骤S2：采集带有标定信息的图像数据，包括车道线区域信息、作业箱位区域信息和通过线区域信息；
[0011]步骤S3：通过图像处理和深度学习的方法对采集到的图像数据进行识别跟踪，获取集卡车车头、集装箱、集卡车托架的类别与位置坐标信息；
[0012]步骤S4：对识别跟踪到的集卡车车头、集装箱、集卡车托架信息进行业务流程处理，输出业务流程信息；
[0013]步骤S5：基于步骤S4中的业务流程信息，结合当前起重机作业的数据进行筛选集成，将目标车辆对应的作业信息输出到自动化系统。
[0014]与现有技术相比，本专利技术的积极效果是：
[0015]本专利技术提供了一种基于视觉的集装箱码头集卡车检测方法，实现了低成本、高可靠性、全面感知集卡车作业场景的信息，并将目标车辆对应的作业信息输出到自动化系统。本专利技术方法有效地解决了集装箱起重机自动化系统的输入问题，优化了集装箱码头船舶装卸流程，同时有效提高了自动化作业效率。
附图说明
[0016]本专利技术将通过例子并参照附图的方式说明，其中：
[0017]图1是本专利技术方法的总体流程示意图；
[0018]图2是本专利技术相机标定示意图。
具体实施方式
[0019]如图1所示，本专利技术提出了一种基于视觉的集装箱码头集卡车检测方法，包括以下步骤：
[0020]步骤S1：根据相机自身固有参数如水平视场角、垂直视场角、像素大小等，以及相机安装的机械参数如安装高度、安装俯仰角等，进行标定；通过计算得到车道线、作业箱位、通过线的范围，标定出具体的车道线区域(一、二、三车道)、作业箱位区域(作业箱位前、中、后)、通过线区域。
[0021]为了更好的实现本专利技术，所述步骤S1，具体还包括以下步骤：
[0022]步骤S1.1：相机标定实现一种将世界坐标系(目标物在真实世界里的位置)转换到像素坐标系(物体成像后在数字图像中的坐标)的映射，映射关系为：世界坐标(X
w
，Y
w
，Z
w
)
→
摄像机坐标(X
C
，Y
C
，Z
C
)
→
图像坐标(XY)
→
像素坐标(UV)。车道线的选择与标定：相机固定好安装高度和安装角度后，在相机拍摄的水平、垂直视场角范围内拍摄一张图片，对图像中车道线的特征区域进行标定；作业箱位的选择与标定：在标定好的某一作业车道内，拍摄当前作业车道中载有集装箱压前、压中、压后的三张图片，判断集装箱在托架中压前、压中、压后的中心点，利用相机已知的内参、外参矩阵，根据图2中的转换方式得到像素坐标系中作业箱位的特征坐标点，通过计算得到集装箱中心点到集装箱车头的距离，从而进行作业箱位的标定；通过线的选择与标定：拍摄一张图像中有集卡车的图片，在标定好的车道区域内，车头的中心点(x,y)到托架尾的垂直距离，利用相机已知的内参、外参矩阵，计算得到集卡车的长度范围，进行通过线的标定。
[0023]步骤S1.2：对标定后的相机作进一步的处理，带有标定信息的车道线区域，划分出不同的车道线区域位置信息，当集卡车驶入划分好的车道线内区域时即为此时集卡的作业车道。
[0024]步骤S2：通过RTSP协议实时对相机的数据进行解码，采集带有标定信息的图像数据，包括车道线区域信息、作业箱位区域信息和通过线区域信息。
[0025]步骤S3：通过图像处理和深度学习的方法对采集到的图像数据进行识别跟踪，输出相应的集卡车车头、集装箱、集卡车托架的类别与位置坐标信息。
[0026]为了更好的实现本专利技术，所述步骤S3，具体还包括以下步骤：
[0027]步骤S3.1：基于步骤S2采集到的数据，由于数据是集卡在运动中实时拍摄的，在数据采集过程中会有一些模糊重影数据，针对这一问题，采用了FGST(Flow
‑
Guided Sparse Transformer for Video Deblurring用于视频去模糊的流引导稀疏变换器)在特征级别上利用时序信息，通过相邻的运动路径提高每帧的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉的集装箱码头集卡车检测方法，其特征在于：包括如下步骤：步骤S1：通过相机自身固有参数以及相机安装的机械参数，标定出具体的车道线区域、作业箱位区域、通过线区域；步骤S2：采集带有标定信息的图像数据，包括车道线区域信息、作业箱位区域信息和通过线区域信息；步骤S3：通过图像处理和深度学习的方法对采集到的图像数据进行识别跟踪，获取集卡车车头、集装箱、集卡车托架的类别与位置坐标信息；步骤S4：对识别跟踪到的集卡车车头、集装箱、集卡车托架信息进行业务流程处理，输出业务流程信息；步骤S5：基于步骤S4中的业务流程信息，结合当前起重机作业的数据进行筛选集成，将目标车辆对应的作业信息输出到自动化系统。2.根据权利要求1所述的一种基于视觉的集装箱码头集卡车检测方法，其特征在于：步骤S1中，车道线区域的标定方法为：相机固定好安装高度和安装角度后，在相机拍摄的水平、垂直视场角范围内拍摄一张图片，对图像中车道线的特征区域进行标定。3.根据权利要求1所述的一种基于视觉的集装箱码头集卡车检测方法，其特征在于：步骤S1中，作业箱位区域的标定方法为：在标定好的某一作业车道内，拍摄当前作业车道中载有集装箱压前、压中、压后的三张图片，判断集装箱在托架中压前、压中、压后的中心点，利用相机已知的内参、外参矩阵，根据世界坐标系到像素坐标系的映射转换方式得到像素坐标系中作业箱位的特征坐标点，最后通过计算得到集装箱中心点到集装箱车头的距离，从而进行作业箱位区域的标定。4.根据权利要求1所述的一种基于视觉的集装箱码头集卡车检测方法，其特征在于：步骤S1中，通过线区域的标定方法为：拍摄一张图像中有集卡车的图片，在标定好的车道区域内，基于车头的中心点(x,y)到托架尾的垂直距离，利用相机已知的内参、外参矩阵，计算得到集卡车的长度范围，进行通过线区域的标定。5.根据权利要求1所述的一种基于视觉的集装箱码头集卡车检测方法，其特征在于：步骤S3对采集到的图像数据进行识别跟踪的方法为：步骤S3.1：采用FGST在特征级别上利用时序信息，通过相邻的运动路径提高每帧的特征，进行视频的去模糊操作；步骤S3.2：通过深度学习PP
‑
Picodet算法将每帧图像解码为一个矩阵，经过神经网络计算之后得到序列化的结果，识别出集卡车车头、集装箱、集卡车托架的具体类别和位置坐标信息；步骤S3.3：通过目标跟踪算法ByteTrack对标定好的不同车道区域进行集卡车车头、集装箱、集卡车托架的运动轨迹进行跟踪。6.根据权利要求5所述的一种基于视觉的集...

【专利技术属性】
技术研发人员：孟朝辉，
申请(专利权)人：北京国泰星云科技有限公司，
类型：发明
国别省市：