【技术实现步骤摘要】
本专利技术涉及计算机字符识别模型领域，尤其涉及一种基于深度学习的集装箱箱号及限重识别方法及设备。
技术介绍
1、为了切实消除超重箱对港口装卸作业、船舶运输等带来的安全隐患，不仅需要解决集装箱箱号识别的问题，还应提供集装箱箱门限重。集装箱的箱体四面均会印刷箱号，箱号是由公司代码和箱体编号组成，公司代码是由字母构成，箱体编号由数字构成，但整个箱号形式各异，没有规律，不同国家、不同集装箱公司印刷的格式、字体、排布方式均不相同。集装箱的限重信息一般仅出现在箱体后侧图像上，即集装箱箱门图片上。在当前的集装箱转运流程中，箱号、箱门限重的获取主要依赖于人工目视读取后手动记录的方式。这种方式不仅极大地增加了操作人员的劳动强度，还不可避免地提高了数据记录过程中的错误率，进而对集装箱转运作业的整体效率造成了不利影响。现有技术中，通过多层卷积神经网络进行深度学习后识别图像中的字符的方案已经得到广泛应用。然而，集装箱箱体侧面的箱号图像却有别于现有的文本图像，请参阅图1，它的特殊性在于：1、将箱号印刷在集装箱上时，有多种排布方式，横向排布、纵向排布，横向排布方式又存在多种格式，比如，单行排布、双行排布、相邻两个字符上下错位排布、公司代码和箱体编号之间设置不确定数量的若干空格，设置箱体编号间也存在不同不同间距的间隙，这无疑增加了用于字符识别的神经网络的学习难度；2、由于集装箱箱体侧板连续凹凸起伏的钢板结构特征，印刷箱号时，各字符不一定会刚好完整地印在凸面或凹面上，以印刷斜体字符为例，部分字符印在凹面和凸面的连接面上时，导致采集到的图像中字符变形加重且相邻两
技术实现思路
1、为了解决上述问题，本专利技术的目的在于提供一种基于深度学习的集装箱箱号及限重识别方法，能够自动、准确地识别集装箱箱号及箱门限重，从而显著降低人为错误，减轻操作者负担，并显著提升集装箱转运作业的效率与准确性。
2、为实现上述目的，本专利技术采用以下技术方案：
3、技术方案一
4、基于深度学习的集装箱箱号及箱门限重识别方法，包括如下步骤：
5、采集并预处理集装箱的箱体侧面图像，所述箱体侧面图像中包含集装箱的箱号、iso号以及限重信息；将所述箱体侧面图像输入训练好的目标检测模型，检测出各目标所在区域的坐标以及对应的目标类型；所述目标包括箱号、iso号以及限重信息，所述目标的类型包括横向箱号、横向iso号、竖列箱号、竖列iso号和箱门限重；从所述箱体侧面图像中裁剪出目标图像，然后进行如下处理：若目标图像中存在目标类型为横向箱号的图像，则将横向箱号的目标图像输入训练好的箱号字符区块检测模型，每个横向箱号图像对应输出一个包含多个字符区块信息的预测集合，采用非极大抑制检验预测集合中的字符区块，得到最终保留下来的字符区块的检测集合，根据检测集合从横向箱号图像中裁剪出字符区块图像并拼接，得到横向箱号拼接图像；将横向箱号拼接图像和其他剩余的目标图像输入训练好的字符识别模型，识别出箱号、iso号和箱门限重字符。
6、基于同一专利技术构思，本专利技术还提供一种基于深度学习的集装箱箱号及箱门限重识别设备。
7、技术方案二
8、基于深度学习的集装箱箱号及箱门限重识别设备，包括存储有可执行程序的存储器和处理器，所述处理器运行所述程序，执行技术方案一中的方法步骤。
9、本专利技术具有如下有益效果：
10、1、本专利技术对难识别的横向箱号识别方案进行改进，首先对裁剪出的横向箱号图像通过改进后的east模型进行字符区块识别，准确提取出字符区块，然后去冗拼接，消除了不等间距间隔、扭曲形状的间隔以及多行格式、字符上下错位格式给字符识别带来的干扰，大幅提高了字符识别精度，且能够适用于各种复杂的集装箱图像场景，无论是不同光照条件还是多种字体格式的箱号和限重标识，均能达到较高的识别效果。
11、2、本专利技术对字符识别模型采用了基于crnn的结构，主干网络使用mobilenetv3，减少了模型的计算量和参数规模，提升轻量化性能。在训练过程中，优化器采用adam，并结合cosine衰减策略来调整学习率，使得模型在训练后期能够继续优化。进一步地，使用l2正则化防止过拟合，最后采用ctc损失函数有效处理变长序列。通过对模型结构和算法的改进，提高了字符识别的精度和计算效率。
12、3、本专利技术利用深度学习技术，通过多层卷积神经网络和渐进式学习机制，对集装箱箱号和箱门限重进行自动化识别，大幅减少了操作人员的劳动负担，避免了人工目视读取和手动记录的繁琐过程，提高了工作效率。
本文档来自技高网...【技术保护点】
1.基于深度学习的集装箱箱号及箱门限重识别方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的基于深度学习的集装箱箱号及箱门限重识别方法，其特征在于：所述SE通道注意力模块先执行Squeeze压缩操作，其表达公式为：，，其中，H、W分别表示特征图的高、宽以及维度，表示综合特征描述，为第c通道输出的特征图，表示为2D卷积运算，为2D卷积核，表述输入第s个通道的特征矩阵，表示为输入的通道总数；通过对所有输入通道进行2D卷积后，将其求和得到输出通道，每个输入通道的特征图都会通过2D卷积核提取出不同的空间特征，这些特征再经过加权求和，得到每个输出通道的综合特征将每个通道的综合特征压缩为一个标量，形成1×1×S的特征输出，该标量为通道的全局特征描述，其中，S表示维度；通过Squeeze压缩操作打通了通道之间的联系，然后由Excitation激励操作获取通道间的特征关系，所述Excitation激励操作是通过两次全连接操作和Sigmoid激活函数获得通道权重：首先，将全局特征描述通过第一个全连接层进行降维，并使用ReLU激活函数增加非线性，接着，第二个全连接层将维度恢复到原
3.根据权利要求1所述的基于深度学习的集装箱箱号及箱门限重识别方法，其特征在于：所述箱号字符区块检测模型的特征提取过程为：横向箱号图像经过卷积层、归一化层、激活层、最大池化层后，再经过多级的残差块模块进行特征提取，最后通过平均池化层和全连接层后将结果输出至特征融合模块；各级残差块模块均由至少三个残差块组成，各级残差块模块的通道数按数据传输方向逐级翻倍递增；各所述残差块由1×1卷积层、3×3卷积层和1×1卷积层构成，对输入的特征图进行降维、特征提取和升维操作，通过各级残差块模块以及通道数的逐级递增，使特征图的尺寸逐级缩小，而特征提取深度逐级增加，从而实现对特征图的深层次特征的提取和多尺度信息的融合。
4.根据权利要求1所述的基于深度学习的集装箱箱号及箱门限重识别方法，其特征在于：所述箱号字符区块检测模型输出字符区块预测集合，其中的字符区块信息包括边界框坐标和置信度；使用非极大抑制检验预测集合中的字符区块的处理步骤为：
5.根据权利要求4所述的基于深度学习的集装箱箱号及箱门限重识别方法，其特征在于：所述根据检测集合从横向箱号图像中裁剪出字符区块图像并拼接，得到横向箱号拼接图像的步骤为：裁剪出来的n个字符区块图像（）进行水平拼接得到，其中提前设定图像的尺寸定义为×，则得到水平拼接后的图像的尺寸为×()，拼接公式为：，其中，为高度，为宽度，x表示图像的行坐标，y表示图像的列坐标，是前n-1个图像的宽度和，用于定位图像在拼接后的水平位置，是第n个字符区块图像在拼接中的像素值。
6.基于深度学习的集装箱箱号及箱门限重识别设备，其特征在于：包括存储有可执行程序的存储器和处理器，所述处理器运行所述程序，执行权利要求1至5任意一项所述的方法步骤。
...【技术特征摘要】
1.基于深度学习的集装箱箱号及箱门限重识别方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的基于深度学习的集装箱箱号及箱门限重识别方法，其特征在于：所述se通道注意力模块先执行squeeze压缩操作，其表达公式为：，，其中，h、w分别表示特征图的高、宽以及维度，表示综合特征描述，为第c通道输出的特征图，表示为2d卷积运算，为2d卷积核，表述输入第s个通道的特征矩阵，表示为输入的通道总数；通过对所有输入通道进行2d卷积后，将其求和得到输出通道，每个输入通道的特征图都会通过2d卷积核提取出不同的空间特征，这些特征再经过加权求和，得到每个输出通道的综合特征将每个通道的综合特征压缩为一个标量，形成1×1×s的特征输出，该标量为通道的全局特征描述，其中，s表示维度；通过squeeze压缩操作打通了通道之间的联系，然后由excitation激励操作获取通道间的特征关系，所述excitation激励操作是通过两次全连接操作和sigmoid激活函数获得通道权重：首先，将全局特征描述通过第一个全连接层进行降维，并使用relu激活函数增加非线性，接着，第二个全连接层将维度恢复到原始通道数，最后通过sigmoid函数归一化权重，将其调整到0到1范围，完成对每个通道的自适应加权；最后，通过scale函数进行逐元素相乘，将通道权重应用到特征矩阵上，但不改变特征矩阵的空间大小。
3.根据权利要求1所述的基于深度学习的集装箱箱号及箱门限重识别方法，其特征在于：所述箱号字符区块检测模型的特征提取过程为：横向箱号图像经过卷积层...
【专利技术属性】
技术研发人员：张天照，邓旭，林强，宋力，李增城，唐才枫，陈诺峰，
申请(专利权)人：福州威普软件技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。