包装箱工序检测的方法、装置和计算机设备制造方法及图纸

本申请涉及一种包装箱工序检测的方法、装置和计算机设备，其中，包装箱工序检测的方法包括：获取包装箱的识别图像，通过检测识别模型，生成识别图像中不同部件的模型检测框，根据模型检测框与检测区域的交并比，对模型检测框进行过滤，其中，模型检测框与部件对应，对过滤后的模型检测框的位置进行预测，得到预测检测框，通过将模型检测框和预测检测框进行关联融合，得到跟踪检测框，根据跟踪检测框对包装箱进行跟踪，在跟踪结束之后，根据模型检测框的识别次数，判定检测区域中工序是否完整，解决了相关技术中通过大量传感器和X光机进行包装箱检测，导致检测设备体积大，成本高的问题，提高了检测效率，降低了检测设备的成本。

【技术实现步骤摘要】
包装箱工序检测的方法、装置和计算机设备
本申请涉及图像检测
，特别是涉及包装箱工序检测的方法、装置和计算机设备。
技术介绍
随着科学技术的发展，工厂在生产的过程中，越来越多地使用到智能化生产设备，以实现智能工厂。在产品出厂前，常常需要对包装箱内的零部件是否齐全进行检测，在相关技术中，通过大量传感器和X光机检测包装箱内部是否存在漏装，少装产品零部件的情况，整个检测设备体积大，成本高。目前针对相关技术中，通过大量传感器和X光机进行包装箱检测，导致检测设备体积大，成本高的问题，尚未提出有效的解决方案。
技术实现思路
本申请实施例提供了一种包装箱工具检测的方法、装置、计算机设备和计算机可读存储介质，以至少解决相关技术中通过大量传感器和X光机进行包装箱检测，导致检测设备体积大，成本高的问题。第一方面，本申请实施例提供了一种包装箱工序检测的方法，所述方法包括：获取包装箱的识别图像，通过检测识别模型，生成所述识别图像中不同部件的模型检测框，根据所述模型检测框与检测区域的交并比，对所述模型检测框进行过滤，其中，所述模型检测框与所述部件对应；对所述过滤后的模型检测框的位置进行预测，得到预测检测框，通过将所述模型检测框和所述预测检测框进行关联融合，得到跟踪检测框，根据所述跟踪检测框对所述包装箱进行跟踪；在所述跟踪结束之后，根据所述模型检测框的识别次数，判定所述检测区域中工序是否完整。在其中一些实施例中，所述通过将所述模型检测框和所述预测检测框进行关联融合，得到跟踪检测框，根据所述跟踪检测框对所述包装箱进行跟踪包括：根据所述预测检测框和所述模型检测框的交并比，将所述预测检测框和所述模型检测框进行关联融合，得到所述跟踪检测框；标记未进行关联的所述模型检测框，在所述标记的次数达到预设标记阈值的情况下，判定所述模型检测框为丢失状态；获取所述丢失状态的模型检测框在所述检测区域的位置，在所述模型检测框与所述检测区域的交并比大于预设交并阈值的情况下，添加所述模型检测框至多个所述跟踪检测框形成的跟踪队列。在其中一些实施例中，所述将所述模型检测框和所述预测检测框进行关联融合还包括：在所述模型检测框的关联融合的数量为0的情况下，获取所述识别图像的前一帧图像中的跟踪队列中的模型检测框和预测检测框；根据所述模型检测框与所述预测检测框的交并比进行强关联。在其中一些实施例中，在所述对所述过滤后的模型检测框的位置进行预测之前，所述方法包括：获取所述检测区域中的跟踪队列，在所述跟踪队列不为空的情况下，对所述跟踪队列中的模型检测框的位置进行预测，或者，在所述跟踪队列为空的情况下，对所述跟踪队列进行初始化。在其中一些实施例中，所述根据所述模型检测框与检测区域的交并比，对所述模型检测框进行过滤包括：在所述模型检测框与所述检测区域的交并比小于第一过滤阈值的情况下，将所述模型检测框过滤；或者，所述检测区域包括第一模型检测框和第二模型检测框，在所述第一模型检测框包含所述第二模型检测框的情况下，将所述第二模型检测框过滤；或者，在所述第一模型检测框和所述第二模型检测框相交的情况下，获取所述第一模型检测框和所述第二模型检测框的交并比，在所述交并比小于第二过滤阈值的情况下，不作处理，在所述交并比大于或者等于所述第二过滤阈值的情况下，根据所述第一模型检测框和所述第二模型检测框分别与所述检测区域的交并比，以及所述第一模型检测框和所述第二模型检测框的置信度，对所述第一模型检测框和所述第二模型检测框进行过滤。在其中一些实施例中，所述判定所述检测区域中工序是否完整包括：在所述识别次数大于预设识别阈值的情况下，判定所述工序完整；或者，在所述识别次数小于或者等于所述预设识别阈值的情况下，触发报警信号。在其中一些实施例中，在所述获取包装箱的识别图像之前，所述方法还包括训练所述检测识别模型：获取训练图像，对所述训练图像进行随机旋转裁剪；对所述随机旋转裁剪后的所述训练图像进行数据增强训练和归一化，其中，所述数据增强训练包括改变所述训练图像的光照、对所述训练图像进行翻转或者放缩。在其中一些实施例中，在所述对所述训练图像进行随机旋转裁剪之前，所述方法还包括：根据所述训练图像中物体的类型和数量，对所述训练图像进行筛选。第二方面，本申请实施例提供了一种包装箱工序检测的装置，所述装置包括传感器、装配设备和处理器；所述传感器获取包装箱的识别图像，所述处理器通过检测识别模型，生成所述识别图像中不同部件的模型检测框，所述处理器获取所述装配设备上的检测区域，并根据所述模型检测框与所述检测区域的交并比，对所述模型检测框进行过滤，其中，所述模型检测框与所述部件对应；所述处理器对所述过滤后的模型检测框的位置进行预测，得到预测检测框，通过将所述模型检测框和所述预测检测框进行关联融合，得到跟踪检测框，根据所述跟踪检测框对所述包装箱进行跟踪，其中，所述位置为所述装配设备的所述检测区域中的位置；在所述跟踪结束之后，所述处理器根据所述模型检测框的识别次数，判定所述检测区域中工序是否完整。第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一所述方法。第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一所述方法。相比于相关技术，本申请实施例提供的包装箱工序检测的方法，获取包装箱的识别图像，通过检测识别模型，生成该识别图像中不同部件的模型检测框，根据该模型检测框与检测区域的交并比，对该模型检测框进行过滤，其中，该模型检测框与该部件对应，对该过滤后的模型检测框的位置进行预测，得到预测检测框，通过将该模型检测框和该预测检测框进行关联融合，得到跟踪检测框，根据该跟踪检测框对该包装箱进行跟踪，在该跟踪结束之后，根据该模型检测框的识别次数，判定该检测区域中工序是否完整，解决了相关技术中通过大量传感器和X光机进行包装箱检测，导致检测设备体积大，成本高的问题，提高了检测效率，降低了检测设备的成本。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是根据本申请实施例的包装箱工序检测的方法的应用环境示意图；图2是根据本申请实施例的包装箱工序检测的方法的流程图；图3A是根据本申请实施例的残差的输入和卷积处理的示意图；图3B是根据本申请实施例的残差计算的示意图；图4是根据本申请实施例的将模型检测框和预测检测框进行关联融合的方法的流程图；图5是根据本申请实施例的训练检测识别模型的方法的流程图；图6是根据本申请实施例的包装箱工序检测的装置的结构框图；图7是本文档来自技高网...

【技术保护点】
1.一种包装箱工序检测的方法，其特征在于，所述方法包括：/n获取包装箱的识别图像，通过检测识别模型，生成所述识别图像中不同部件的模型检测框，根据所述模型检测框与检测区域的交并比，对所述模型检测框进行过滤，其中，所述模型检测框与所述部件对应；/n对所述过滤后的模型检测框的位置进行预测，得到预测检测框，通过将所述模型检测框和所述预测检测框进行关联融合，得到跟踪检测框，根据所述跟踪检测框对所述包装箱进行跟踪；/n在所述跟踪结束之后，根据所述模型检测框的识别次数，判定所述检测区域中工序是否完整。/n

【技术特征摘要】
1.一种包装箱工序检测的方法，其特征在于，所述方法包括：
获取包装箱的识别图像，通过检测识别模型，生成所述识别图像中不同部件的模型检测框，根据所述模型检测框与检测区域的交并比，对所述模型检测框进行过滤，其中，所述模型检测框与所述部件对应；
对所述过滤后的模型检测框的位置进行预测，得到预测检测框，通过将所述模型检测框和所述预测检测框进行关联融合，得到跟踪检测框，根据所述跟踪检测框对所述包装箱进行跟踪；
在所述跟踪结束之后，根据所述模型检测框的识别次数，判定所述检测区域中工序是否完整。


2.根据权利要求1所述的方法，其特征在于，所述通过将所述模型检测框和所述预测检测框进行关联融合，得到跟踪检测框，根据所述跟踪检测框对所述包装箱进行跟踪包括：
根据所述预测检测框和所述模型检测框的交并比，将所述预测检测框和所述模型检测框进行关联融合，得到所述跟踪检测框；
标记未进行关联的所述模型检测框，在所述标记的次数达到预设标记阈值的情况下，判定所述模型检测框为丢失状态；
获取所述丢失状态的模型检测框在所述检测区域的位置，在所述模型检测框与所述检测区域的交并比大于预设交并阈值的情况下，添加所述模型检测框至多个所述跟踪检测框形成的跟踪队列。


3.根据权利要求2所述的方法，其特征在于，所述将所述模型检测框和所述预测检测框进行关联融合还包括：
在所述模型检测框的关联融合的数量为0的情况下，获取所述识别图像的前一帧图像中的跟踪队列中的模型检测框和预测检测框；
根据所述模型检测框与所述预测检测框的交并比进行强关联。


4.根据权利要求1所述的方法，其特征在于，在所述对所述过滤后的模型检测框的位置进行预测之前，所述方法包括：
获取所述检测区域中的跟踪队列，在所述跟踪队列不为空的情况下，对所述跟踪队列中的模型检测框的位置进行预测，或者，
在所述跟踪队列为空的情况下，对所述跟踪队列进行初始化。


5.根据权利要求1所述的方法，其特征在于，所述根据所述模型检测框与检测区域的交并比，对所述模型检测框进行过滤包括：
在所述模型检测框与所述检测区域的交并比小于第一过滤阈值的情况下，将所述模型检测框过滤；或者，
所述检测区域包括第一模型检测框和第二模型检测框，在所述第一模型检测框包含所述第二模型检测框的情况下，将所述第二模型检测框过滤；或者，
在所述第一模型检测框和所述第二模型检测框相交的情况下，获取...

【专利技术属性】
技术研发人员：黄积晟，任宇鹏，卢维，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：浙江;33