一种缠膜纸箱堆垛信息识别方法、系统、设备及存储介质技术方案

本发明专利技术属于机器视觉技术领域，具体公开了一种缠膜纸箱堆垛信息识别方法、系统、设备及存储介质，通过获取相机阵列对缠膜纸箱堆垛侧面进行间隔拍摄得到的第一RGB图像集来进行纵向和横向的图像拼接，得到缠膜纸箱堆垛侧面的全融合图像，通过获取第二相机对缠膜纸箱堆垛顶面进行拍摄得到的第二RGB图像，以对全融合图像和第二RGB图像分别进行基于机器视觉处理的纸箱检测和文字识别，得到堆垛纸箱的侧面文字信息和顶面文字信息。本发明专利技术可以有效解决现有机器视觉处理方法对缠膜纸箱堆垛表面信息检测识别困难的问题，实现对缠膜纸箱堆垛表面的精准检测识别，适用于物流行业中纸箱堆垛、缠膜的检测场景。缠膜的检测场景。缠膜的检测场景。

【技术实现步骤摘要】
一种缠膜纸箱堆垛信息识别方法、系统、设备及存储介质


[0001]本专利技术属于机器视觉
，具体涉及一种缠膜纸箱堆垛信息识别方法、系统、设备及存储介质。

技术介绍

[0002]在物流行业中会用到大量的纸箱，为便于纸箱的运输，需将多个纸箱整齐摞列形成纸箱堆垛，然后用缠绕膜将纸箱堆垛缠绕包裹后，再进行统一的运输分类使用。纸箱堆垛缠膜后，其纸箱表面会因为缠膜反光、面积大和传送带移动的原因，导致现有的机器视觉检测识别技术难以用来对纸箱表面的文字信息进行有效的检测识别，在纸箱运输识别时还需进行人为的信息识别，十分影响效率。因此，亟需一种可以高效、高质量检测识别缠膜纸箱堆垛表面信息的方法。

技术实现思路

[0003]本专利技术的目的是提供一种缠膜纸箱堆垛信息识别方法、系统、设备及存储介质，用以解决现有技术中存在的上述问题。
[0004]为了实现上述目的，本专利技术采用以下技术方案：
[0005]第一方面，提供一种缠膜纸箱堆垛信息识别方法，包括：
[0006]获取相机阵列对缠膜纸箱堆垛侧面进行M次流水间隔拍摄所得到的第一RGB图像集，以及第二相机对缠膜纸箱堆垛顶面进行拍摄所得到的第二RGB图像，所述相机阵列由N个沿纸箱堆垛高度方向等间隔布设的第一相机组成，所述第一RGB图像集包含N个第一相机进行M次间隔拍摄所得到的M
×
N张第一RGB图像；
[0007]将相机阵列每次拍摄得到的N张第一RGB图像进行纵向拼接融合，得到M张纵向融合图像，再将M张纵向融合图像进行横向拼接融合，得到全融合图像；
[0008]将全融合图像输入预置的第一纸箱检测模型进行检测，得到第一纸箱检测结果，所述第一纸箱检测结果包含若干第一检测框以及各第一检测框对应的置信度，所述第一纸箱检测模型由Yolov5模型经过第一训练集训练得到，所述第一训练集包含若干标注好的缠膜堆垛纸箱侧面图像样本；
[0009]将第二RGB图像输入预置的第二纸箱检测模型进行检测，得到第二纸箱检测结果，所述第二纸箱检测结果包含若干第二检测框以及各第二检测框对应的置信度，所述第二纸箱检测模型由Yolov5模型经过第二训练集训练得到，所述第二训练集包含若干标注好的缠膜堆垛纸箱顶面图像样本；
[0010]将置信度高于第一置信度阈值的第一检测框作为侧面检测框，将置信度高于第二置信度阈值的第二检测框作为顶面检测框；
[0011]截取各侧面检测框内的区域图像输入预置的文字识别模型进行文字识别，得到第一文字识别结果，所述第一文字识别结果包括纸箱侧面文字信息，截取各顶面检测框内的区域图像输入预置的文字识别模型进行文字识别，得到第二文字识别结果，所述第二文字
识别结果包括纸箱顶面文字信息；
[0012]将第一文字识别结果和第二文字识别结果传输至后台终端。
[0013]在一个可能的设计中，在将置信度高于第一置信度阈值的第一检测框作为侧面检测框，将置信度高于第二置信度阈值的第二检测框作为顶面检测框后，所述方法还包括：
[0014]确定侧面检测框的数量，将侧面检测框的数量作为侧面纸箱数，确定顶面检测框的数量，将顶面检测框的数量作为纸箱摞列数；
[0015]将侧面纸箱数和纸箱摞列数传输至后台终端。
[0016]在一个可能的设计中，所述第二相机为3D相机，所述方法还包括：
[0017]获取第二相机对缠膜纸箱堆垛顶面进行拍摄所得到的深度图像，所述深度图像与第二RGB图像相互配准；
[0018]根据第二RGB图像中的顶面检测框在深度图像中标注出对应的深度检测框；
[0019]根据深度图像中各深度检测框内的区域图像确定各摞纸箱的顶面识别高度；
[0020]将各摞纸箱的顶面识别高度传输至后台终端。
[0021]在一个可能的设计中，所述根据深度图像中各深度检测框内的区域图像确定各摞纸箱的顶面识别高度，包括：
[0022]采用K
‑
Means聚类算法对各深度检测框内的区域图像进行聚类，并根据聚类结果确定各摞纸箱顶面与3D相机的距离；
[0023]根据各摞纸箱顶面与3D相机的距离以及设定的3D相机安装高度确定各纸箱的顶面识别高度。
[0024]在一个可能的设计中，所述将相机阵列每次拍摄得到的N张第一RGB图像进行纵向拼接融合，得到M张纵向融合图像，再将M张纵向融合图像进行横向拼接融合，得到全融合图像，包括：
[0025]对相机阵列每次拍摄得到的N张第一RGB图像进行设定倍数的下采样，得到N张缩小后的第一RGB图像；
[0026]将N张缩小后的第一RGB图像进行纵向拼接融合，得到纵向融合图像，再将M张纵向融合图像进行横向拼接融合，得到全融合图像。
[0027]在一个可能的设计中，所述将相机阵列每次拍摄得到的N张第一RGB图像进行纵向拼接融合，得到M张纵向融合图像，再将M张纵向融合图像进行横向拼接融合，得到全融合图像，包括：
[0028]调用OpenCV中的Stitcher函数作为目标图像拼接算法；
[0029]采用目标图像拼接算法对各第一RGB图像进行纵向拼接融合，得到纵向融合图像，并采用目标图像拼接算法对各纵向融合图像进行横向拼接融合，得到全融合图像。
[0030]在一个可能的设计中，所述文字识别模型采用PaddleOCR模型经若干文字识别训练样本训练得到。
[0031]第二方面，提供一种缠膜纸箱堆垛信息识别系统，包括获取单元、拼接单元、第一检测单元、第二检测单元、筛选单元、识别单元和输出单元，其中：
[0032]获取单元，用于获取相机阵列对缠膜纸箱堆垛侧面进行M次流水间隔拍摄所得到的第一RGB图像集，以及第二相机对缠膜纸箱堆垛顶面进行拍摄所得到的第二RGB图像，所述相机阵列由N个沿纸箱堆垛高度方向等间隔布设的第一相机组成，所述第一RGB图像集包
含N个第一相机进行M次间隔拍摄所得到的M
×
N张第一RGB图像；
[0033]拼接单元，用于将相机阵列每次拍摄得到的N张第一RGB图像进行纵向拼接融合，得到M张纵向融合图像，再将M张纵向融合图像进行横向拼接融合，得到全融合图像；
[0034]第一检测单元，用于将全融合图像输入预置的第一纸箱检测模型进行检测，得到第一纸箱检测结果，所述第一纸箱检测结果包含若干第一检测框以及各第一检测框对应的置信度，所述第一纸箱检测模型由Yolov5模型经过第一训练集训练得到，所述第一训练集包含若干标注好的缠膜堆垛纸箱侧面图像样本；
[0035]第二检测单元，用于将第二RGB图像输入预置的第二纸箱检测模型进行检测，得到第二纸箱检测结果，所述第二纸箱检测结果包含若干第二检测框以及各第二检测框对应的置信度，所述第二纸箱检测模型由Yolov5模型经过第二训练集训练得到，所述第二训练集包含若干标注好的缠膜堆垛纸箱顶面图像样本；
[0036]筛选单元，用于将置信度高于第一置信度阈值的第一检测框作为侧面检测框，将置信度高于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种缠膜纸箱堆垛信息识别方法，其特征在于，包括：获取相机阵列对缠膜纸箱堆垛侧面进行M次流水间隔拍摄所得到的第一RGB图像集，以及第二相机对缠膜纸箱堆垛顶面进行拍摄所得到的第二RGB图像，所述相机阵列由N个沿纸箱堆垛高度方向等间隔布设的第一相机组成，所述第一RGB图像集包含N个第一相机进行M次间隔拍摄所得到的M
×
N张第一RGB图像；将相机阵列每次拍摄得到的N张第一RGB图像进行纵向拼接融合，得到M张纵向融合图像，再将M张纵向融合图像进行横向拼接融合，得到全融合图像；将全融合图像输入预置的第一纸箱检测模型进行检测，得到第一纸箱检测结果，所述第一纸箱检测结果包含若干第一检测框以及各第一检测框对应的置信度，所述第一纸箱检测模型由Yolov5模型经过第一训练集训练得到，所述第一训练集包含若干标注好的缠膜堆垛纸箱侧面图像样本；将第二RGB图像输入预置的第二纸箱检测模型进行检测，得到第二纸箱检测结果，所述第二纸箱检测结果包含若干第二检测框以及各第二检测框对应的置信度，所述第二纸箱检测模型由Yolov5模型经过第二训练集训练得到，所述第二训练集包含若干标注好的缠膜堆垛纸箱顶面图像样本；将置信度高于第一置信度阈值的第一检测框作为侧面检测框，将置信度高于第二置信度阈值的第二检测框作为顶面检测框；截取各侧面检测框内的区域图像输入预置的文字识别模型进行文字识别，得到第一文字识别结果，所述第一文字识别结果包括纸箱侧面文字信息，截取各顶面检测框内的区域图像输入预置的文字识别模型进行文字识别，得到第二文字识别结果，所述第二文字识别结果包括纸箱顶面文字信息；将第一文字识别结果和第二文字识别结果传输至后台终端。2.根据权利要求1所述的一种缠膜纸箱堆垛信息识别方法，其特征在于，在将置信度高于第一置信度阈值的第一检测框作为侧面检测框，将置信度高于第二置信度阈值的第二检测框作为顶面检测框后，所述方法还包括：确定侧面检测框的数量，将侧面检测框的数量作为侧面纸箱数，确定顶面检测框的数量，将顶面检测框的数量作为纸箱摞列数；将侧面纸箱数和纸箱摞列数传输至后台终端。3.根据权利要求1所述的一种缠膜纸箱堆垛信息识别方法，其特征在于，所述第二相机为3D相机，所述方法还包括：获取第二相机对缠膜纸箱堆垛顶面进行拍摄所得到的深度图像，所述深度图像与第二RGB图像相互配准；根据第二RGB图像中的顶面检测框在深度图像中标注出对应的深度检测框；根据深度图像中各深度检测框内的区域图像确定各摞纸箱的顶面识别高度；将各摞纸箱的顶面识别高度传输至后台终端。4.根据权利要求3所述的一种缠膜纸箱堆垛信息识别方法，其特征在于，所述根据深度图像中各深度检测框内的区域图像确定各摞纸箱的顶面识别高度，包括：采用K
‑
Means聚类算法对各深度检测框内的区域图像进行聚类，并根据聚类结果确定各摞纸箱顶面与3D相机的距离；
根据各摞纸箱顶面与3D相机的距离以及设定的3D相机安装高度确定各纸箱的顶面识别高度。5.根据权利要求1所述的一种缠膜纸箱堆垛信息识别方法，其特征在于，所述将相机阵列每次拍摄得到的N张第一RGB图像进行纵向拼接融合，得到M张纵向融合图像，再将M张纵向融合图像进行横向拼接融合，得到全融合图像，包括：对相机阵列每次拍摄得到的N张第一RGB图像进行设...

【专利技术属性】
技术研发人员：李连峰，刘涛，蔺思宇，
申请(专利权)人：中科时代深圳计算机系统有限公司，
类型：发明
国别省市：