目标检测方法、装置、系统和计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种目标检测方法、装置、系统和计算机可读存储介质，涉及图像处理技术领域。目标检测方法包括：将包括多帧图像的待检测序列输入到目标检测模型中，获得目标检测模型输出的具有检测框的多个图像；确定检测框中的具有运动光流的像素；根据检测框中的具有运动光流的像素数，保留部分或全部检测框；将保留的检测框中的对象确定为相应的图像中的目标对象。本发明专利技术的实施例能够提高目标检测的准确性。

Target detection methods, devices, systems and computer-readable storage media

【技术实现步骤摘要】
目标检测方法、装置、系统和计算机可读存储介质
本专利技术涉及图像处理
，特别涉及一种目标检测方法、装置、系统和计算机可读存储介质。
技术介绍
目标检测是指在给定的图像中精确找到物体所在位置，并标注出物体的类别。目标检测技术是当前计算机视觉和机器学习领域的研究热点之一。如今，目标检测的研究方向主要有两大类。一是基于传统图像处理和机器学习算法的目标检测，该方法主要包括目标特征提取、目标识别、目标定位等等。二是基于深度学习的目标检测，该方法主要通过深度网络模型完成深度特征的提取、目标识别与定位。
技术实现思路
专利技术人认识到，目前基于深度学习的检测模型针对不同应用场景的泛化能力较低，导致在场景复杂的情况下，检测模型会产生大量的误检结果，导致检测的准确率较低。本专利技术实施例所要解决的一个技术问题是：如何提高目标检测方法的准确率。根据本专利技术一些实施例的第一个方面，提供一种目标检测方法，包括：将包括多帧图像的待检测序列输入到目标检测模型中，获得目标检测模型输出的具有检测框的多个图像；确定检测框中的具有运动光流的像素；根据检测框中的具有运动光流的像素数，保留部分或全部检测框；将保留的检测框中的对象确定为相应的图像中的目标对象。在一些实施例中，确定检测框中的具有运动光流的像素包括：根据一帧图像的检测框中的像素的位置与上一帧图像的同一像素的位置，确定像素的位移；在像素的位移大于位移阈值的情况下，确定像素具有运动光流。在一些实施例中，目标检测方法还包括：检测图像的检测框中的特征点，以便计算图像的检测框中的每个特征点相对于图像的前一帧图像中的同一特征点的位移，并在特征点的位移大于位移阈值的情况下，确定特征点对应的像素具有运动光流。在一些实施例中，根据检测框中的具有运动光流的像素数，保留部分或全部检测框包括：在图像的检测框中的具有运动光流的像素数小于预设阈值，并且在图像的前若干帧图像中图像的检测框对应的范围内的具有运动光流的像素数也小于预设阈值的情况下，删除图像的检测框。在一些实施例中，目标检测模型为神经网络模型；目标检测方法还包括：采用训练图像训练神经网络模型以获得目标检测模型，其中，训练图像包括正样本图像和负样本图像，每个正样本图像具有标记的目标对象的位置信息，每个负样本图像中不具有目标对象，负样本图像包括目标检测模型误识别的检测框中的图像。在一些实施例中，目标检测方法还包括：基于采集的真实图像，采用生成式对抗网络生成虚拟图像；将虚拟图像作为训练图像。在一些实施例中，目标检测方法还包括：响应于售货装置的柜门被开启，采集视频或连续采集多个图像作为待检测序列，以便检测图像中的目标对象，其中，目标对象为被拿取的物品；识别目标对象的图像以确定被拿取的物品的标识。根据本专利技术一些实施例的第二个方面，提供一种目标对象检测装置，包括：检测框输出模块，被配置为将包括多帧图像的待检测序列输入到目标检测模型中，获得目标检测模型输出的具有检测框的多个图像；运动光流确定模块，被配置为确定检测框中的具有运动光流的像素；检测框筛选模块，被配置为根据检测框中的具有运动光流的像素数，保留部分或全部检测框；目标对象确定模块，被配置为将保留的检测框中的对象确定为相应的图像中的目标对象。根据本专利技术一些实施例的第三个方面，提供一种目标对象检测装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器中的指令，执行用于运行包括以下操作的目标对象检测方法：将包括多帧图像的待检测序列输入到目标检测模型中，获得目标检测模型输出的具有检测框的多个图像；确定检测框中的具有运动光流的像素；根据检测框中的具有运动光流的像素数，保留部分或全部检测框；将保留的检测框中的对象确定为相应的图像中的目标对象。在一些实施例中，确定检测框中的具有运动光流的像素包括：根据一帧图像的检测框中的像素的位置与上一帧图像的同一像素的位置，确定像素的位移；在像素的位移大于位移阈值的情况下，确定像素具有运动光流。在一些实施例中，操作还包括：检测图像的检测框中的特征点，以便计算图像的检测框中的每个特征点相对于图像的前一帧图像中的同一特征点的位移，并在特征点的位移大于位移阈值的情况下，确定特征点对应的像素具有运动光流。在一些实施例中，根据检测框中的具有运动光流的像素数，保留部分或全部检测框包括：在图像的检测框中的具有运动光流的像素数小于预设阈值，并且在图像的前若干帧图像中图像的检测框对应的范围内的具有运动光流的像素数也小于预设阈值的情况下，删除图像的检测框。在一些实施例中，目标检测模型为神经网络模型；操作还包括：采用训练图像训练神经网络模型以获得目标检测模型，其中，训练图像包括正样本图像和负样本图像，每个正样本图像具有标记的目标对象的位置信息，每个负样本图像中不具有目标对象，负样本图像包括目标检测模型误识别的检测框中的图像。在一些实施例中，操作还包括：基于采集的真实图像，采用生成式对抗网络生成虚拟图像；将虚拟图像作为训练图像。根据本专利技术一些实施例的第四个方面，提供一种目标对象检测系统，包括：前述任意一种目标对象检测装置，被配置为将包括多帧图像的待检测序列输入到目标检测模型中，获得目标检测模型输出的具有检测框的多个图像；确定检测框中的具有运动光流的像素；根据检测框中的具有运动光流的像素数，保留部分或全部检测框；将保留的检测框中的对象确定为相应的图像中的目标对象；以及摄像设备，被配置为采集包括多帧图像的待检测序列。在一些实施例中，目标对象检测系统还包括：售货装置；摄像设备位于售货装置，进一步被配置为响应于售货装置的柜门被开启，采集视频或连续采集多个图像作为待检测序列；目标对象检测装置进一步被配置为检测图像中的目标对象，并识别目标对象的图像以确定被拿取的物品的标识，其中，目标对象为被拿取的物品。根据本专利技术一些实施例的第五个方面，提供一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现前述任意一种目标对象检测方法。上述专利技术中的一些实施例具有如下优点或有益效果：本专利技术的实施例可以采用目标检测模型、基于静态的图像特征识别出单帧图像中可能存在的目标对象，再采用基于帧间的动态特征的运动光流来对可能存在的目标对象进行筛选来获得检测结果。即使在场景复杂的情况下，本专利技术的实施例也可以通过这种二次筛选的方式进行检测，提高了目标检测的准确性。通过以下参照附图对本专利技术的示例性实施例的详细描述，本专利技术的其它特征及其优点将会变得清楚。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为根据本专利技术一些实施例的目标检测方法的流程示意图。图2为根据本专利技术一些实施例的具有运动光流的像素确定方法的流程示意图。图3为根据本专利技术另一些实施例的具有运动光流的像素确定方法的流程示意图。图4为根据本专利技术一些实施例的检测框筛选方法的流程示意图。图5为根据本专利技术另一些实施例的检测框筛选方法的流程示意图。图6为根据本专利技术一些实施例的目标检测模型训练方法的流程示意图。图7为根据本专利技术一些实施例的训练图像本文档来自技高网...

【技术保护点】
1.一种目标检测方法，包括：将包括多帧图像的待检测序列输入到目标检测模型中，获得目标检测模型输出的具有检测框的多个图像；确定检测框中的具有运动光流的像素；根据检测框中的具有运动光流的像素数，保留部分或全部检测框；将保留的检测框中的对象确定为相应的图像中的目标对象。

【技术特征摘要】
1.一种目标检测方法，包括：将包括多帧图像的待检测序列输入到目标检测模型中，获得目标检测模型输出的具有检测框的多个图像；确定检测框中的具有运动光流的像素；根据检测框中的具有运动光流的像素数，保留部分或全部检测框；将保留的检测框中的对象确定为相应的图像中的目标对象。2.根据权利要求1所述的目标检测方法，其中，所述确定检测框中的具有运动光流的像素包括：根据一帧图像的检测框中的像素的位置与上一帧图像的同一像素的位置，确定所述像素的位移；在像素的位移大于位移阈值的情况下，确定所述像素具有运动光流。3.根据权利要求2所述的目标检测方法，还包括：检测图像的检测框中的特征点，以便计算图像的检测框中的每个特征点相对于所述图像的前一帧图像中的同一特征点的位移，并在特征点的位移大于位移阈值的情况下，确定所述特征点对应的像素具有运动光流。4.根据权利要求1所述的目标检测方法，其中，所述根据检测框中的具有运动光流的像素数，保留部分或全部检测框包括：在图像的检测框中的具有运动光流的像素数小于预设阈值，并且在所述图像的前若干帧图像中所述图像的检测框对应的范围内的具有运动光流的像素数也小于预设阈值的情况下，删除所述图像的检测框。5.根据权利要求1所述的目标检测方法，其中，所述目标检测模型为神经网络模型；所述目标检测方法还包括：采用训练图像训练神经网络模型以获得目标检测模型，其中，所述训练图像包括正样本图像和负样本图像，每个正样本图像具有标记的目标对象的位置信息，每个负样本图像中不具有目标对象，所述负样本图像包括所述目标检测模型误识别的检测框中的图像。6.根据权利要求5所述的目标检测方法，还包括：基于采集的真实图像，采用生成式对抗网络生成虚拟图像；将虚拟图像作为训练图像。7.根据权利要求1所述的目标检测方法，还包括：响应于售货装置的柜门被开启，采集视频或连续采集多个图像作为待检测序列，以便检测图像中的目标对象，其中，所述目标对象为被拿取的物品；识别目标对象的图像以确定被拿取的物品的标识。8.一种目标对象检测装置，包括：检测框输出模块，被配置为将包括多帧图像的待检测序列输入到目标检测模型中，获得目标检测模型输出的具有检测框的多个图像；运动光流确定模块，被配置为确定检测框中的具有运动光流的像素；检测框筛选模块，被配置为根据检测框中的具有运动光流的像素数，保留部分或全部检测框；目标对象确定模块，被配置为将保留的检测框中的对象确定为相应的图像中的目标对象。9.一种目标对象检测装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行用于运行包括以...

【专利技术属性】
技术研发人员：李姣，刘朋樟，刘通，
申请(专利权)人：北京沃东天骏信息技术有限公司，
类型：发明
国别省市：北京,11