目标检测方法和装置、神经网络训练方法和装置制造方法及图纸

本公开提供了一种基于神经网络的目标检测方法和装置、以及用于目标检测的神经网络的训练方法和装置。所述目标检测方法，包括：获取包含目标的待检测图像；利用预先训练的第一神经网络获取所述待检测图像的第一特征信息，利用预先训练的第二神经网络获取所述待检测图像的第二特征信息；组合所述第一特征信息和所述第二特征信息，获取组合特征信息；以及利用所述第二神经网络，基于所述组合特征信息，获取目标检测结果，其中，所述第二神经网络的层数大于所述第一神经网络的层数，并且所述第一特征信息为热度图特征信息，所述第二特征信息为图片特征信息。

Target detection method and device, neural network training method and device

The present disclosure provides a method and apparatus for target detection based on a neural network, and a training method and a device for a neural network for target detection. Including the target detection method: obtaining object image to be detected; obtaining the first detected image feature information by using the first neural network training in advance, acquiring the detected second image feature information using second neural network training in advance; the combination of the first characteristic information and the second characteristic information the combination, characteristic information; and the use of the second neural network, the combination of feature information based on target detection results, among them, the second layer neural network is larger than that of the first neural network layer, and the first feature information for heat map feature information, the second characteristic information for the picture feature information.

【技术实现步骤摘要】
目标检测方法和装置、神经网络训练方法和装置
本公开涉及图像处理领域，更具体地，本公开涉及基于神经网络的目标检测方法和装置、以及用于目标检测的神经网络的训练方法和装置。
技术介绍
目标检测是计算机视觉领域中一个基础性的研究课题，其在人脸识别、安全监控以及动态追踪等很多方面都有广泛的应用前景。目标检测是指对于任意一幅给定的图像，检测和识别其中特定的目标(例如行人)，并返回目标的位置、大小信息，例如输出包围目标的边界框。目标检测是一个复杂的具有挑战性的模式检测问题，一方面由于目标的细节变化、遮挡等内在的变化，另外一方面由于成像角度、光照影响、成像设备的焦距、成像距离、图像获得的途径不同等外在条件变化，都会导致目标检测的困难和精度降低。神经网络是一种大规模、多参数优化的工具。依靠大量的训练数据，神经网络能够学习出数据中难以总结的隐藏特征，从而完成多项复杂的任务，如人脸检测，图片分类，物体检测，动作追踪，自然语言翻译等。神经网络已被人工智能界广泛应用。当前，诸如行人检测的目标检测中最广泛应用的是卷积神经网络。困扰现今行人目标检测方法的主要有两个问题：一是会产生大量的“假阳性”探测结果，即，将非目标区域标记为目标；二是由于光照、目标姿态等影响，部分目标无法被神经网络自动检测出。这是由于当前用于目标检测的神经网络的训练以及检测过程中，往往都直接生成目标在图片中的位置，没有充分考虑对这一过程的拆分和对网络的迭代式训练，也没有考虑其他能够辅助训练和提高检测精度的因素。
技术实现思路
鉴于上述问题而提出了本公开。本公开提供了一种基于神经网络的目标检测方法和装置、以及用于目标检测的神经网络的训练方法和装置，通过利用位置信息辅助生成热度图的第一神经网络训练，之后利用热度图辅助生成目标位置的第二神经网络训练，并且进一步迭代第一神经网络训练和第二神经网络训练直到获得训练好的神经网络，使得训练好的神经网络对于待检测的图像执行热度图和目标位置检测，从而实现更高的检测精度。根据本公开的一个实施例，提供了一种目标检测方法，包括：获取包含目标的待检测图像；利用预先训练的第一神经网络获取所述待检测图像的第一特征信息，利用预先训练的第二神经网络获取所述待检测图像的第二特征信息；组合所述第一特征信息和所述第二特征信息，获取组合特征信息；以及利用所述第二神经网络，基于所述组合特征信息，获取目标检测结果，其中，所述第二神经网络的层数大于所述第一神经网络的层数，并且所述第一特征信息为热度图特征信息，所述第二特征信息为图片特征信息。此外，根据本公开的一个实施例的目标检测方法，还包括：训练所述第一神经网络和所述第二神经网络。此外，根据本公开的一个实施例的目标检测方法，其中所述训练所述第一神经网络和所述第二神经网络包括：利用标注有训练目标的训练图像，调整所述第一神经网络的第一网络参数以训练所述第一神经网络，直到所述第一神经网络的第一损失函数满足第一预定阈值条件，获得训练中的所述第一神经网络；利用所述训练图像、以及所述第一神经网络对于所述训练图像输出的训练用第一特征信息，调整所述第二神经网络的第二网络参数以训练所述第二神经网络，直到所述第二神经网络的第二损失函数满足第二预定阈值条件，获得训练中的所述第二神经网络。此外，根据本公开的一个实施例的目标检测方法，其中所述训练所述第一神经网络和所述第二神经网络还包括重复执行以下训练：利用所述训练图像、以及所述训练中的第二神经网络对于所述训练图像输出的训练用第二特征信息，调整所述第一网络参数以训练所述第一神经网络；以及利用所述训练图像、以及所述训练中的第一神经网络对于所述训练图像输出的训练用第一特征信息，调整所述第二网络参数以训练所述第二神经网络，直到所述第一损失函数和所述第二损失函数都满足第三预定阈值条件，获得训练好的所述第一神经网络和所述第二神经网络。此外，根据本公开的一个实施例的目标检测方法，其中，所述第一损失函数指示所述第一神经网络预测的所述训练图像中的像素点属于训练目标的预测置信度与真实置信度的差异，以及所述第二损失函数指示所述第二神经网络预测的所述训练图像中的目标的预测置信度与真实置信度的差异和包含所述目标的边界框的预测置信度与真实置信度的差异。此外，根据本公开的一个实施例的目标检测方法，其中，所述第二神经网络包括：特征输入层，用于基于输入的所述待检测图像获取所述第二特征信息；第一特征组合层，用于组合所述第一特征信息和所述第二特征信息，获取所述组合特征信息；以及目标检测层，用于基于所述组合特征信息，获取目标检测结果；以及所述第一神经网络包括：特征转换层，用于基于所述第二特征信息，获取转换特征信息；以及热度检测层，用于基于所述转换特征信息，获取所述第一特征信息。此外，根据本公开的一个实施例的目标检测方法，其中，所述第一神经网络还包括上采样层，用于上采样所述转换特征信息，以使得所述热度检测层接收到与所述待检测图像相同尺寸的所述上采样后的转换特征信息；其中，所述热度检测层包括：第二特征组合层，用于接收所述上采样后的转换特征信息，以生成初始第一特征信息；下采样层，用于下采样所述初始第一特征信息，以获取与所述第二特征信息相同尺度的所述第一特征信息；以及热度目标预测层，用于基于所述初始第一特征信息，获取热度目标预测结果。根据本公开的另一个实施例，提供了一种目标检测装置，包括：图像获取模块，用于获取包含目标的待检测图像；以及目标检测模块，包括第一神经网络和第二神经网络，所述第一神经网络用于获取所述待检测图像的第一特征信息，所述第二神经网络用于获取所述待检测图像的第二特征信息，其中，所述第二神经网络还进一步组合所述第一特征信息和所述第二特征信息，获取组合特征信息，并且基于所述组合特征信息，获取目标检测结果，其中，所述第二神经网络的层数大于所述第一神经网络的层数，并且所述第一特征信息为热度图特征信息，所述第二特征信息为图片特征信息。此外，根据本公开的另一个实施例的目标检测装置，还包括：训练模块，用于训练所述第一神经网络和所述第二神经网络。此外，根据本公开的另一个实施例的目标检测装置，其中所述训练模块包括第一训练单元和第二训练单元，所述第一训练单元利用标注有训练目标的训练图像，调整所述第一神经网络的第一网络参数以训练所述第一神经网络，直到所述第一神经网络的第一损失函数满足第一预定阈值条件，获得训练中的所述第一神经网络；以及所述第二训练单元利用所述训练图像、以及所述第一神经网络对于所述训练图像输出的训练用第一特征信息，调整所述第二神经网络的第二网络参数以训练所述第二神经网络，直到所述第二神经网络的第二损失函数满足第二预定阈值条件，获得训练中的所述第二神经网络。此外，根据本公开的另一个实施例的目标检测装置，其中所述第一训练单元和所述第二训练单元分别重复执行以下训练：所述第一训练单元利用所述训练图像、以及所述训练中的第二神经网络对于所述训练图像输出的训练用第二特征信息，调整所述第一网络参数以训练所述第一神经网络；以及所述第二训练单元利用所述训练图像、以及所述训练中的第一神经网络对于所述训练图像输出的训练用第一特征信息，调整所述第二网络参数以训练所述第二神经网络，直到所述第一损失函数和所述第二损失函数都满足第三预定阈值条件，本文档来自技高网...

【技术保护点】
一种目标检测方法，包括：获取包含目标的待检测图像；利用预先训练的第一神经网络获取所述待检测图像的第一特征信息，利用预先训练的第二神经网络获取所述待检测图像的第二特征信息；组合所述第一特征信息和所述第二特征信息，获取组合特征信息；以及利用所述第二神经网络，基于所述组合特征信息，获取目标检测结果，其中，所述第二神经网络的层数大于所述第一神经网络的层数，并且所述第一特征信息为热度图特征信息，所述第二特征信息为图片特征信息。

【技术特征摘要】
1.一种目标检测方法，包括：获取包含目标的待检测图像；利用预先训练的第一神经网络获取所述待检测图像的第一特征信息，利用预先训练的第二神经网络获取所述待检测图像的第二特征信息；组合所述第一特征信息和所述第二特征信息，获取组合特征信息；以及利用所述第二神经网络，基于所述组合特征信息，获取目标检测结果，其中，所述第二神经网络的层数大于所述第一神经网络的层数，并且所述第一特征信息为热度图特征信息，所述第二特征信息为图片特征信息。2.如权利要求1所述的目标检测方法，还包括：训练所述第一神经网络和所述第二神经网络。3.如权利要求2所述的目标检测方法，其中所述训练所述第一神经网络和所述第二神经网络包括：利用标注有训练目标的训练图像，调整所述第一神经网络的第一网络参数以训练所述第一神经网络，直到所述第一神经网络的第一损失函数满足第一预定阈值条件，获得训练中的所述第一神经网络；利用所述训练图像、以及所述第一神经网络对于所述训练图像输出的训练用第一特征信息，调整所述第二神经网络的第二网络参数以训练所述第二神经网络，直到所述第二神经网络的第二损失函数满足第二预定阈值条件，获得训练中的所述第二神经网络。4.如权利要求3所述的目标检测方法，其中所述训练所述第一神经网络和所述第二神经网络还包括：重复执行以下训练：利用所述训练图像、以及所述训练中的第二神经网络对于所述训练图像输出的训练用第二特征信息，调整所述第一网络参数以训练所述第一神经网络；以及利用所述训练图像、以及所述训练中的第一神经网络对于所述训练图像输出的训练用第一特征信息，调整所述第二网络参数以训练所述第二神经网络，直到所述第一损失函数和所述第二损失函数都满足第三预定阈值条件，获得训练好的所述第一神经网络和所述第二神经网络。5.如权利要求3所述的目标检测方法，其中，所述第一损失函数指示所述第一神经网络预测的所述训练图像中的像素点属于训练目标的预测置信度与真实置信度的差异，以及所述第二损失函数指示所述第二神经网络预测的所述训练图像中的目标的预测置信度与真实置信度的差异和包含所述目标的边界框的预测置信度与真实置信度的差异。6.如权利要求1所述的目标检测方法，其中，所述第二神经网络包括：特征输入层，用于基于输入的所述待检测图像获取所述第二特征信息；第一特征组合层，用于组合所述第一特征信息和所述第二特征信息，获取所述组合特征信息；以及目标检测层，用于基于所述组合特征信息，获取目标检测结果；以及所述第一神经网络包括：特征转换层，用于基于所述第二特征信息，获取转换特征信息；以及热度检测层，用于基于所述转换特征信息，获取所述第一特征信息。7.如权利要求6所述的目标检测方法，其中，所述第一神经网络还包括上采样层，用于上采样所述转换特征信息，以使得所述热度检测层接收到与所述待检测图像相同尺寸的所述上采样后的转换特征信息；其中，所述热度检测层包括：第二特征组合层，用于接收所述上采样后的转换特征信息，以生成初始第一特征信息；下采样层，用于下采样所述初始第一特征信息，以获取与所述第二特征信息相同尺度的所述第一特征信息；以及热度目标预测层，用于基于所述初始第一特征信息，获取热度目标预测结果。8.一种目标检测装置，包括：图像获取模块，用于获取包含目标的待检测图像；以及目标检测模块，包括第一神经网络和第二神经网络，所述第一神经网络用于获取所述待检测图像的第一特征信息，所述第二神经网络用于获取所述待检测图像的第二特征信息，其中，所述第二神经网络还进一步组合所述第一特征信息和所述第二特征信息，获取组合特征信息，并且基于所述组合特征信息，获取目标检测结果，其中，所述第二神经网络的层数大于所述第一神经网络的层数，并且所述第一特征信息为热度图特征信息，所述第二特征信息为图片特征信息。9.如权利要求8所述的目标检测装置，还包括：训练模块，用于训练所述第一神经网络和所述第二神经网络。10.如权利要求9所述的目标检测装置，其中所述训练模块包括第一训练单元和第二训练单元，所述第一训练单元利用标注有训练目标的训练图像，调整所述第一神经网络的第一网络参数以训练所述第一神经网络，直到所述第一神经网络的第一损失函数满足第一预定阈值条件，获得训练中的所述第一神经网络；以及所述第二训练单元利用所述训练图像、以及所述第一神经网络对于所述训练图像输出的训练用第一特征信息，调整所述第二神经网络的第二网络参数以训练所述第二神经网络，直到所述第二神经网络的第二损失函数满足第二预定阈值条件，获得训练中的所述第二神经网络。11.如权利要求10所述的目标检测装置，其中所述第一训练单元和所述第二训练单元分别重复执行以下训练：所述第一训练单元利用所述训练图像、以及所述训练中的第二神经网络对于所述训练图像输出的训练用第二特征信息，调整所述第一网络参数以训练所述第一神经网络；以及所述第二训练单元利用所述训练图像、以及所述训练中的第一神经网络对于所述训练图像输出的训练用第一特征信息，调整所述第二网络参数以训练所述第二神经网络，直到所述第一损失函数和所述第二损失函数都满足第三预定阈值条件，获得训练好的所述第一神经网络和所述第二神经网络。12.如权利要求10所述的目标检测装置，其中，所述第一损失函数指示所述第一神经网络预测的所述训练图像中的像素点属于训练目标的预测置信度与真实置信度的差异，以及所述第二损失函数指示所述第二神经网络预测的所述训练图像中的目标的预测置信度与真实置信度的差异和包含所述目标的边界框的预测置信度与真实置信度的差异。13.如权利要求8所述的目标检测装置，其中，所述第二神经网络包括：特征输入层，用于基于输入的所述待检测图像获取所述第二特征信息；第一特征组合层，用于组合所述第一特征信息和所述第二特征信息，获取组合特征信息；目标检测层，用于基于所述组合特征信息，获取目标检测结果；所述第一神经网络包括：特征转换层，用于基于所述第二特征信息，获取转换特征信息；以及热度检测层，用于基于所述转换特征信息，获取所述第一特征信息。14.如权利要求13所述的目标检测装置，其中，所述第一神经网络还包括上采样层，用于上采样所述转换特征信息，以使得所述热度检测层接收到与所述待检测图像相同尺寸的所述上采样后的转换特征信息；其中，所述热度检测层包括：第二特征组合层，用于接收所述上采样后的转换特征信息，以生成初始第一特征信息；下采样层，用于下采样所...

【专利技术属性】
技术研发人员：肖特特，茅佳源，
申请(专利权)人：北京旷视科技有限公司，北京小孔科技有限公司，
类型：发明
国别省市：北京,11