一种基于深度信息匹配RGB的快递包裹实时检测识别算法制造技术

本发明专利技术公开了一种基于深度信息匹配RGB的快递包裹实时检测识别算法，包括以下步骤：a.深度相机对快递包裹的深度图和RGB图进行采集，再将RGB图和深度图进行对齐处理；b.根据深度阙值对深度图进行筛选，只保留深度图中的有效目标；c.将筛选后深度图中的有效目标利用二值化进行处理，得到仅关于快件物体的Mask图；d.检测Mask图的目标轮廓，并计算轮廓矩获取各个目标像素坐标；e.利用深度图得到的目标像素坐标，得到目标的大致位置，并利用目标像素坐标与RGB图做处理，得到各个目标的大致ROI区域，并生成各个目标ROI图。本发明专利技术设计的算法复杂度低，易于大规模部署，可以在低性能CPU上实现高效率、高精度的快件检测，提高了检测的准确性，减少了计算的冗余。减少了计算的冗余。减少了计算的冗余。

【技术实现步骤摘要】
一种基于深度信息匹配RGB的快递包裹实时检测识别算法


[0001]本专利技术涉及快递包裹实时检测识别
，具体涉及一种基于深度信息匹配RGB的快递包裹实时检测识别算法。

技术介绍

[0002]多快件分离系统的对快件检测算法的实时性和精度都有较高的要求，现有的基于深度学习的高精度目标检测算法需要部署在高性能的GPU上，于工业场景而言，成本过高，不适用于大规模部署，与多快件分离系统降低分拣成本的初衷相悖。
[0003]如授权公告号为CN113344949A，授权公告日为2021
‑
09
‑
03的一种基于RGB图像的包裹检测方法、系统、介质及终端，建立手动标记的快递包裹图像数据集，使用K
‑
means算法对数据集的锚框进行聚类；使用具有数据增强策略的YOLOv3
‑
tiny深层卷积神经网络进行训练和测试。本专利技术以较高的定位精度快速提取包裹位置，为后续分离做准备，提高了快递包裹检测的智能性和效率，满足快递包裹的检测需求。实验表明，该方法对快递包裹的检测具有较高的准确性和实用性。
[0004]如授权公告号为CN109978929A，授权公告日为2019
‑
07
‑
05的一深度信息摄像模组的RGB
‑
D图像合成效果。该深度信息摄像模组的RGB
‑
D图像合成优化系统包括一标定模块，一对齐量化模块和一调整优化模块。该标定模块可通信地连接于该深度信息摄像模组，供标定该深度成像模块和该RGB成像模块的标定参数；该对齐量化模块可通信地连接于该深度信息摄像模组和该标定模块，供量化该IR图像和该RGB图像的特征点对齐效果，以间接地量化该深度图像数据和该RGB图像的对齐效果。
[0005]上述以及在现有技术中的，现有轻量级算法的精度并不能满足多快件分离系统对精度的需求，且部署配置困难，同样不适用于大规模应用。因此，亟需设计一种基于深度信息匹配RGB的快递包裹实时检测识别算法来解决上述问题。

技术实现思路

[0006]本专利技术的目的是提供一种基于深度信息匹配RGB的快递包裹实时检测识别算法，以解决现有技术中的上述不足之处。
[0007]为了实现上述目的，本专利技术提供如下技术方案：一种基于深度信息匹配RGB的快递包裹实时检测识别算法，包括以下步骤：a.深度相机对快递包裹的深度图和RGB图进行采集，再将RGB图和深度图进行对齐处理；b.根据深度阙值对深度图进行筛选，只保留深度图中的有效目标；c.将筛选后深度图中的有效目标利用二值化进行处理，得到仅关于快件物体的Mask图；d.检测Mask图的目标轮廓，并计算轮廓矩获取各个目标像素坐标；e.利用深度图得到的目标像素坐标，得到目标的大致位置，并利用目标像素坐标
与RGB图做处理，得到各个目标的大致ROI区域，并生成各个目标ROI图；f.将各个目标ROI图进行形态滤波预处理，对纵横比阙值进行筛选；g.对纵横比阙值筛选后的ROI图进行腐蚀操作去粘连部位干扰，并对腐蚀操作后的轮廓进行空洞填充；h.利用轮廓检测算法对处理后的ROI图进行轮廓检测，筛选掉过大和过小像素面积的错误轮廓；i.再利用轮廓矩算法计算各个目标轮廓的左上角点与右下角点坐标，最终在RGB图中绘制出来，完成检测算法。
[0008]进一步地，所述步骤b具体包括以下步骤：b1.深度图筛选符合深度阙值，进行二值化处理；b2.深度图不符合深度阙值，筛选掉不符合深度阙值的深度图。
[0009]进一步地，所述步骤f具体包括以下步骤：f1.形态滤波预处理后的ROI图符合纵横比阙值，进行腐蚀操作去粘连部位干扰；f2.形态滤波预处理后的ROI图不符合纵横比阙值，筛选掉不符合纵横比阙值的ROI图。
[0010]进一步地，所述步骤h具体包括以下步骤：h1.轮廓检测后的ROI图符合面积阙值，进行轮廓矩算法计算；h2.轮廓检测后的ROI图不符合面积阙值，筛选掉不符合面积阙值的ROI图。
[0011]进一步地，所述Mask图为黑白二值化图。
[0012]进一步地，所述纵横比阙值筛选中纵横比过大的物体即可能出现粘连情况。
[0013]进一步地，所述腐蚀后的轮廓进行空洞填充防止因腐蚀操作导致的目标形态不完整。
[0014]进一步地，所述深度图根据深度阙值进行筛选时，需根据作业平台的特性，滤掉无关背景。
[0015]在上述技术方案中，本专利技术提供的一种基于深度信息匹配RGB的快递包裹实时检测识别算法，本专利技术设计的算法复杂度低，易于大规模部署，可以在低性能CPU上实现高效率、高精度的快件检测，提高了检测的准确性，减少了计算的冗余。
附图说明
[0016]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0017]图1为本专利技术一种基于深度信息匹配RGB的快递包裹实时检测识别算法实施例提供的流程结构示意图。
[0018]图2为本专利技术一种基于深度信息匹配RGB的快递包裹实时检测识别算法实施例提供的Mask图结构示意图。
[0019]图3为本专利技术一种基于深度信息匹配RGB的快递包裹实时检测识别算法实施例提供的RGB对齐图结构示意图。
[0020]图4为本专利技术一种基于深度信息匹配RGB的快递包裹实时检测识别算法实施例提
供的目标像素坐标结构示意图。
[0021]图5为本专利技术一种基于深度信息匹配RGB的快递包裹实时检测识别算法实施例提供的测试检测效果图结构示意图。
具体实施方式
[0022]为了使本领域的技术人员更好地理解本专利技术的技术方案，下面将结合附图对本专利技术作进一步的详细介绍。
[0023]如图1
‑
5所示，本专利技术提供的一种基于深度信息匹配RGB的快递包裹实时检测识别算法，包括以下步骤：a.深度相机对快递包裹的深度图和RGB图进行采集，再将RGB图和深度图进行对齐处理；b.根据深度阙值对深度图进行筛选，只保留深度图中的有效目标；b1.深度图筛选符合深度阙值，进行二值化处理；b2.深度图不符合深度阙值，筛选掉不符合深度阙值的深度图，深度图根据深度阙值进行筛选时，需根据作业平台的特性，滤掉无关背景；c.将筛选后深度图中的有效目标利用二值化进行处理，得到仅关于快件物体的Mask图；Mask图为黑白二值化图；d.检测Mask图的目标轮廓，并计算轮廓矩获取各个目标像素坐标；e.利用深度图得到的目标像素坐标，得到目标的大致位置，并利用目标像素坐标与RGB图做处理，得到各个目标的大致ROI区域，并生成各个目标ROI图；f.将各个目标ROI图进行形态滤波预处理，对纵横比阙值进行筛选；f1.形态滤波预处理后的ROI图符合纵横比阙值，进行腐蚀操作去粘连部位干扰；f2.形态滤波预处理后的ROI图不符合纵横比阙值，筛选本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度信息匹配RGB的快递包裹实时检测识别算法，其特征在于，包括以下步骤：深度相机对快递包裹的深度图和RGB图进行采集，再将RGB图和深度图进行对齐处理；根据深度阙值对深度图进行筛选，只保留深度图中的有效目标；c.将筛选后深度图中的有效目标利用二值化进行处理，得到仅关于快件物体的Mask图；d.检测Mask图的目标轮廓，并计算轮廓矩获取各个目标像素坐标；e.利用深度图得到的目标像素坐标，得到目标的大致位置，并利用目标像素坐标与RGB图做处理，得到各个目标的大致ROI区域，并生成各个目标ROI图；f.将各个目标ROI图进行形态滤波预处理，对纵横比阙值进行筛选；g.对纵横比阙值筛选后的ROI图进行腐蚀操作去粘连部位干扰，并对腐蚀操作后的轮廓进行空洞填充；h.利用轮廓检测算法对处理后的ROI图进行轮廓检测，筛选掉过大和过小像素面积的错误轮廓；i.再利用轮廓矩算法计算各个目标轮廓的左上角点与右下角点坐标，最终在RGB图中绘制出来，完成检测算法。2.根据权利要求1所述的一种基于深度信息匹配RGB的快递包裹实时检测识别算法，其特征在于，所述步骤b具体包括以下步骤：b1.深度图筛选符合深度阙值，进行二值化处理；b2.深度图不符合深度阙值，筛选掉不符合深度阙值的深度图。3.根据权利要求1所述...

【专利技术属性】
技术研发人员：陈鑫，陈路，尹皓，汤斌，张贵平，王紫浩，葛道凯，赵琨琪，魏士圆，范平，吕正旋，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：