本发明专利技术公开了一种自动化码头集装箱的箱型识别系统及其方法，包括：标定模块，获取现场车道的实时视频流，并对所述实时视频流作去畸变处理；采集模块，获取所述实时视频流，解码成图片，并对所述图片作预处理；算法模块，获取所述图片，通过算法处理判断出集装箱是单20尺、单40尺、双20尺或45尺箱型；数据记录模块，记录各模块的历史记录、状态信息及故障信息、数据存储。本发明专利技术利用AI结合机器视觉检测、分割与定位技术实现对自动化码头集装箱箱型的检测识别，检测精度高、速度快、实时性好，适用于自动化码头集装箱箱型的识别的要求。动化码头集装箱箱型的识别的要求。动化码头集装箱箱型的识别的要求。
【技术实现步骤摘要】
一种自动化码头集装箱的箱型识别系统及其方法
[0001]本专利技术涉及自动化码头集装箱箱型检测识别与定位技术，更具体地说，涉及一种自动化码头集装箱的箱型识别系统及其方法。
技术介绍
[0002]自新冠疫情发生以来，随着全球对物资需求的爆发式增长，贸易货物运输量也是飞速增长，集装箱的需求比例不断提高，集装箱的运输量也呈现爆发式增长趋势。从航次经济核算分析，通过缩短集装箱船舶的停泊时间可以降低停泊成本，提高集装箱运输船舶的航行效率并充分发挥船舶单位运输成本的优势，提高经济效益，这就对集装箱装卸作业的效率提出更高的要求。
[0003]目前，自动化码头起重机作业集装箱箱型分为单20尺、单40尺、单45尺和双20尺四种类型，其中双20尺集装箱是由两个单20尺集装箱组成。通常情况下，集装箱卡车上的集装箱在进行装卸前需要集卡按既定车道停在指定区域位置，集装箱卡车在引导到位后，起重机设备行驶至集卡上方，起重机吊具开始对集卡进行装箱、卸箱作业，而在抓放箱作业前，能够提前分辨出具体哪一种箱型就显得尤为重要，不仅可以大大提高作业效率，而且还可以提高作业的安全性。
[0004]现有技术中，大都采用传统人工参与或激光扫描检测的方式。前者集装箱的信息一般依靠自动化码头理货员的信息操作系统或者码头起重机作业司机肉眼观察识别集装箱箱型，然后控制起重机吊具设置在相应的尺度位置，对应相应集装箱的大小。根据吊具的臂展伸出的长度位置，码头起重机中控系统可以获知作业的集装箱箱型，再将集装箱箱型信息反馈给需要该信息的机构。现有技术中，有些机构无法与码头起重机中控系统建立通讯，该机构必须依靠自身探测箱型，但目前并没有单独检测箱型的机构。后者利用激光集卡引导系统，也只能分辨出单20尺、40尺和45尺箱型，对于单40尺和双20尺箱型是很难分辨出的，在检测识别上遇到了瓶颈。
技术实现思路
[0005]针对现有技术中存在的上述缺陷，本专利技术的目的是提供一种自动化码头集装箱的箱型识别系统及其方法，利用AI结合机器视觉检测、分割与定位技术实现对自动化码头集装箱箱型的检测识别，检测精度高、速度快、实时性好，适用于自动化码头集装箱箱型的识别的要求。
[0006]为实现上述目的，本专利技术采用如下技术方案：
[0007]一方面，一种自动化码头集装箱的箱型识别系统，包括：
[0008]标定模块，获取现场车道的实时视频流，并对所述实时视频流作去畸变处理；
[0009]采集模块，获取所述实时视频流，解码成图片，并对所述图片作预处理；
[0010]算法模块，获取所述图片，通过算法处理判断出集装箱是单20尺、单40尺、双20尺或45尺箱型；
[0011]数据记录模块，记录各模块的历史记录、状态信息及故障信息、数据存储。
[0012]较佳的，所述标定模块选用工业相机，设于起重机上。
[0013]较佳的，所述算法模块进一步包括：
[0014]AI检测算法模块一，用以实现所述图片中集卡车头车身整车粗定位；
[0015]AI分割算法模块，用以实现所述图片中集装箱轮廓的像素级高精定位；
[0016]坐标系转换算法模块，用以计算得到集装箱的长度；
[0017]判断模块一，用以初步判断集装箱是单20尺、单40尺、双20尺或45尺箱型；
[0018]AI检测算法模块二，用以实现所述图片中对集装箱箱间隙或集装箱锁孔数量的检测；
[0019]判断模块二，用以最终判断集装箱是单20尺、单40尺、双20尺或45尺箱型。
[0020]另一方面，一种自动化码头集装箱的箱型识别系统，采用所述的自动化码头集装箱的箱型识别系统执行以下步骤：
[0021]S1、通过所述标定模块获取现场车道的实时视频流，并对所述实时视频流作去畸变处理；
[0022]S2、通过所述采集模块获取所述实时视频流，解码成图片，并对所述图片作预处理；
[0023]S3、将预处理后的所述图片输入所述算法模块中，判断出集装箱是单20尺、单40尺、双20尺或45尺箱型。
[0024]较佳的，所述步骤S1中，所述标定模块选用工业相机，安装在起重机上；
[0025]安装前，对所述工业相机进行相机内参标定；
[0026]安装后，对所述工业相机进行相机外参标定。
[0027]较佳的，所述相机内参标定进一步包括：
[0028]利用标定板和张氏标定法获取所述工业相机内参矩阵M和畸变参数K1、K2、K3、P1和P2，并通过内参矩阵M和畸变参数K1、K2、K3、P1和P2对所述工业相机进行去畸变校正。
[0029]所述相机外参标定进一步包括：
[0030]利用标定板角点在起重机坐标系下的坐标和在相机像素坐标系下的坐标，通过PnP算法或非线性高斯牛顿优化算法得到相机坐标系到起重机坐标系的旋转矩阵R和平移矩阵T。
[0031]较佳的，所述步骤S2中，预处理为滤波去燥、灰度化或直方图均衡化处理算法。
[0032]较佳的，所述步骤S3中，所述算法模块的计算进一步包括以下步骤：
[0033]S31、通过所述AI检测算法模块一对所述图片中集卡车头车身整车粗定位，即将预处理后的所述图片输入YOLO深度学习卷积神经网络的预训练目标检测算法模型中得到集卡车头车身整车检测结果，然后对车头车身整车ROI区域进行剪切提取车头车身整车粗定位图像；
[0034]S32、通过所述AI分割算法模块对所述图片中集装箱轮廓的像素级高精定位，即将得到的车头车身整车粗定位图像经过AI分割算法，获取集装箱轮廓的像素级高精定位图像，并通过集装箱轮廓最小面积外接框后处理算法得到车头轮廓外接框及框的左上角和右下角像素坐标，通过所述AI检测算法模块一剪切的车头车身整车ROI区域图像与原始图像的比例关系还原到原始图像上得到原始图像上集装箱轮廓外接框及框的左上角和右下角
高精像素坐标；
[0035]S33、通过所述坐标系转换算法模块将集装箱轮廓外接框的左上角和右下角高精像素坐标通过标定的相机内参矩阵M和外参旋转矩阵R与平移矩阵T换算得到集装箱左上角和右下角在起重机坐标系下的坐标，通过计算得到集装箱的长度；
[0036]S34、通过所述判断模块一获取所述AI分割算法模块得到集装箱左上角和右下角在起重机坐标系下的坐标，通过计算可得集装箱的实际长度，可以初步判断集装箱是单20尺、单40尺、双20尺或45尺箱型；
[0037]S35、通过所述AI检测算法模块二对所述图片中集装箱箱间隙或集装箱锁孔数量的检测，将分割后的集装箱图片输入YOLO深度学习卷积神经网络的预训练目标检测算法模型中得到集装箱的箱间隙或集装箱的锁孔数量的检测结果；
[0038]S36、通过所述判断模块二获取所述AI检测算法模块二得到集装箱的箱间隙或集装箱的锁孔数量的检测结果，即最终判断集装箱是单20尺、单40尺、双20尺或45尺箱型。
[0039]较佳的，所述AI检测算法模块一、所述AI检测算法模块二与本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种自动化码头集装箱的箱型识别系统，其特征在于，包括：标定模块，获取现场车道的实时视频流，并对所述实时视频流作去畸变处理；采集模块，获取所述实时视频流，解码成图片，并对所述图片作预处理；算法模块，获取所述图片，通过算法处理判断出集装箱是单20尺、单40尺、双20尺或45尺箱型；数据记录模块，记录各模块的历史记录、状态信息及故障信息、数据存储。2.根据权利要求1所述的自动化码头集装箱的箱型识别系统，其特征在于：所述标定模块选用工业相机，设于起重机上。3.根据权利要求2所述的自动化码头集装箱的箱型识别系统，其特征在于，所述算法模块进一步包括：AI检测算法模块一，用以实现所述图片中集卡车头车身整车粗定位；AI分割算法模块，用以实现所述图片中集装箱轮廓的像素级高精定位；坐标系转换算法模块，用以计算得到集装箱的长度；判断模块一，用以初步判断集装箱是单20尺、单40尺、双20尺或45尺箱型；AI检测算法模块二，用以实现所述图片中对集装箱箱间隙或集装箱锁孔数量的检测；判断模块二，用以最终判断集装箱是单20尺、单40尺、双20尺或45尺箱型。4.一种自动化码头集装箱的箱型识别系统，其特征在于，采用如权利要求3所述的自动化码头集装箱的箱型识别系统执行以下步骤：S1、通过所述标定模块获取现场车道的实时视频流，并对所述实时视频流作去畸变处理；S2、通过所述采集模块获取所述实时视频流，解码成图片，并对所述图片作预处理；S3、将预处理后的所述图片输入所述算法模块中，判断出集装箱是单20尺、单40尺、双20尺或45尺箱型。5.根据权利要求4所述的自动化码头集装箱的箱型识别方法，其特征在于：所述步骤S1中，所述标定模块选用工业相机，安装在起重机上；安装前，对所述工业相机进行相机内参标定；安装后，对所述工业相机进行相机外参标定。6.根据权利要求5所述的自动化码头集装箱的箱型识别方法，其特征在于，所述相机内参标定进一步包括：利用标定板和张氏标定法获取所述工业相机内参矩阵M和畸变参数K1、K2、K3、P1和P2，并通过内参矩阵M和畸变参数K1、K2、K3、P1和P2对所述工业相机进行去畸变校正。所述相机外参标定进一步包括：利用标定板角点在起重机坐标系下的坐标和在相机像素坐标系下的坐标，通过PnP算法或非线性高斯牛顿优化算法得到相机坐标系到起重机坐标系的旋转矩阵R和平移矩阵T。7.根据权利要求4所述的自动化码头集装箱的箱型识别方法，其特征在于：所述步骤S2中，预处理为滤波去燥、灰度化或直方图均衡化处理算法。8.根据权利要求4所述的自动化码头集装箱的箱型识别方法，其特征在于，所述步骤S3中，所述算法模块的计算进一步包括以下步骤：S31、通过所述AI检测算法模块一对所述图片中集卡车头车身整车粗定位，即将预处理<...
【专利技术属性】
技术研发人员：张俊阳，马矜，江灏，吴翔，
申请(专利权)人：上海振华重工集团股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。