基于多粒度深度特征学习的行人检测方法及装置制造方法及图纸

本发明专利技术公开了一种基于多粒度深度特征学习的行人检测方法及装置，其中，方法包括：将输入图像传输至细粒度深度特征生成网络和检测网络；通过细粒度深度特征生成网络生成行人解析图，以得到细粒度深度特征，并通过检测网络得到检测特征；对细粒度深度特征和检测特征进行元积，以显著化行人区域的特征和平滑背景区域的特征，并获取多粒度深度特征；根据多粒度深度特征得到行人检测结果。该方法通过使用不同分辨率的特征和引入细粒度特征，有效提高检测的精度和性能。

【技术实现步骤摘要】
基于多粒度深度特征学习的行人检测方法及装置
本专利技术涉及计算机图像处理中的行人检测
，特别涉及一种基于多粒度深度特征学习的行人检测方法及装置。
技术介绍
行人检测技术是指通过图像处理及模式识别等算法从给定的图像数据中检测出行人，给予行人坐标位置和置信度。行人检测是计算机视觉中一个重要的研究热点，通常是行为分析，姿态估计，属性分析，智能监控，自动驾驶等实际应用中的核心技术之一。因此，行人检测技术具有极高的科研价值和商业价值，并有大量学者从事行人检测的研究，以及众多有效的行人检测的算法被提出来。尽管近几年计算机视觉研究者致力于行人检测的研究中，但是行人检测问题依旧挑战性很大。这主要是因为有三个原因：其一，由于目标和监控器的距离，行人的尺度有很大的变动，所以单一尺度的检测器难以应对不同尺度的行人；其次，在自然场景下其他物体(例如：车辆，指示牌等)可能对行人造成不同程度的遮挡，检测系统容易被遮挡物误导，从而导致漏检；另外，在实际应用中大部分行人是以小尺度出现，小目标的特征不明显且分辨率低，导致大量的漏检和误检。给定一张图像，为了得到图片中所有行人的位置，检测器通常有以下三步：第一，对整张图片进行特征提取；其次，使用不同尺度和大小的预选框遍历整张图片；最后，基于预选框中的特征，判断其中是否存在行人，并调整预选框的坐标和大小，从而得到最后的行人检测框。其中，特征提取步骤是行人检测系统最重要的一步，所以，相关技术中的研究方法可以被分为两类：基于手工特征的方法和基于深度特征学习的方法。其中，基于手工特征的方法主要考虑了行人的先验信息，对输入图像进行一系列简单的变化，得到行人特征。相比之下，深度特征学习的方法能够通过大量的数据自主学习出具有高鲁棒性的特征，从而显著性的提升检测精准度。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于多粒度深度特征学习的行人检测方法，该方法可以有效提高检测的精度和性，同时保证了行人检测的实时性。本专利技术的另一个目的在于提出一种基于多粒度深度特征学习的行人检测装置。为达到上述目的，本专利技术一方面实施例提出了一种基于多粒度深度特征学习的行人检测方法，包括以下步骤：将输入图像传输至细粒度深度特征生成网络和检测网络；通过所述细粒度深度特征生成网络生成行人解析图，以得到细粒度深度特征，并通过所述检测网络得到检测特征；对所述细粒度深度特征和所述检测特征进行元积，以显著化行人区域的特征和平滑背景区域的特征，并获取多粒度深度特征；根据所述多粒度深度特征得到行人检测结果。本专利技术实施例的基于多粒度深度特征学习的行人检测方法，可以根据多粒度深度特征得到行人检测结果，通过使用不同分辨率的特征和引入细粒度特征的方法提高检测技术在复杂场景下对小尺度行人和被遮挡的行人检测精度和性能，同时本技术去除了现有行人检测方法的预选框生成步骤，从而保证了行人检测系统的实时性。另外，根据本专利技术上述实施例的基于多粒度深度特征学习的行人检测方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述细粒度深度特征生成网络为像素级别的二分类网络，其中，所述通过所述细粒度深度特征生成网络生成行人解析图，以得到细粒度深度特征，进一步包括：将所述输入图像的每一个像素分为背景和行人；根据所述背景和行人生成行人解析图；将所述行人解析图转化为所述细粒度深度特征。进一步地，在本专利技术的一个实施例中，所述通过所述检测网络得到检测特征，进一步包括：将多个不同分辨率和感受野的卷积层作为检测层，其中，每个检测层负责预设尺度的目标，以解决行人检测任务中多尺度问题；将每个检测特征输入检测模块，以得到检测结果图，其中，在所述检测模块引入目标的环境信息。进一步地，在本专利技术的一个实施例中，所述多粒度深度特征为：As,c＝Ds,c(M)⊙FS,C，其中，As,c为多粒度深度特征，M为行人解析图，Ds,c为细粒度深度特征变换操作，s为下采样倍数，c为通道数，FS,C为检测层特征，⊙为元积操作。进一步地，在本专利技术的一个实施例中，通过以下多任务目标函数训练深度卷积网络：L＝Lbox+λcLconf+λsLseg，其中，L为目标函数，Lbox为检测框回归函数，λs和λc为均为权重，Lconf为分类目标函数，Lseg为行人解析目标函数。为达到上述目的，本专利技术另一方面实施例提出了一种基于多粒度深度特征学习的行人检测装置，包括：生成模块，用于将输入图像传输至细粒度深度特征生成网络和检测网络；第一获取模块，用于通过所述细粒度深度特征生成网络生成行人解析图，以得到细粒度深度特征，并通过所述检测网络得到检测特征；第二获取模块，用于对所述细粒度深度特征和所述检测特征进行元积，以显著化行人区域的特征和平滑背景区域的特征，并获取多粒度深度特征；检测模块，用于根据所述多粒度深度特征得到行人检测结果。本专利技术实施例的基于多粒度深度特征学习的行人检测装置，可以根据多粒度深度特征得到行人检测结果，通过使用不同分辨率的特征和引入细粒度特征的方法提高检测技术在复杂场景下对小尺度行人和被遮挡的行人检测精度和性能，同时本技术去除了现有行人检测方法的预选框生成步骤，从而保证了行人检测系统的实时性。另外，根据本专利技术上述实施例的基于多粒度深度特征学习的行人检测装置还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述细粒度深度特征生成网络为像素级别的二分类网络，其中，所述第一获取模块，进一步包括：划分单元，用于将所述输入图像的每一个像素分为背景和行人；生成单元，用于根据所述背景和行人生成行人解析图；转化单元，用于将所述行人解析图转化为所述细粒度深度特征。进一步地，在本专利技术的一个实施例中，所述第一获取模块，进一步包括：解决单元，用于将多个不同分辨率和感受野的卷积层作为检测层，其中，每个检测层负责预设尺度的目标，以解决行人检测任务中多尺度问题；获取单元，用于将每个检测特征输入检测模块，以得到检测结果图，其中，在所述检测模块引入目标的环境信息。进一步地，在本专利技术的一个实施例中，所述多粒度深度特征为：As,c＝Ds,c(M)⊙FS,C，其中，As,c为多粒度深度特征，M为行人解析图，Ds,c为细粒度深度特征变换操作，s为下采样倍数，c为通道数，FS,C为检测层特征，⊙为元积操作。进一步地，在本专利技术的一个实施例中，通过以下多任务目标函数训练深度卷积网络：L＝Lbox+λcLconf+λsLseg，其中，L为目标函数，Lbox为检测框回归函数，λs和λc为均为权重，Lconf为分类目标函数，Lseg为行人解析目标函数。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本专利技术实施例的基于多粒度深度特征学习的行人检测方法的流程图；图2为根据本专利技术一个实施例的基于多粒度深度特征学习的行人检测方法的流程图；图3为根据本专利技术一个实施例的原始输入图像与细粒度深度特征图示意图；图4为根据本专利技术一个实施例的弱监督学习示意图；图5为根据本专利技术一个实施例的检测网络的主体结构示意图；图6为根据本专利技术本文档来自技高网...

【技术保护点】
1.一种基于多粒度深度特征学习的行人检测方法，其特征在于，包括以下步骤：将输入图像传输至细粒度深度特征生成网络和检测网络；通过所述细粒度深度特征生成网络生成行人解析图，以得到细粒度深度特征，并通过所述检测网络得到检测特征；对所述细粒度深度特征和所述检测特征进行元积，以显著化行人区域的特征和平滑背景区域的特征，并获取多粒度深度特征；以及根据所述多粒度深度特征得到行人检测结果。

【技术特征摘要】
1.一种基于多粒度深度特征学习的行人检测方法，其特征在于，包括以下步骤：将输入图像传输至细粒度深度特征生成网络和检测网络；通过所述细粒度深度特征生成网络生成行人解析图，以得到细粒度深度特征，并通过所述检测网络得到检测特征；对所述细粒度深度特征和所述检测特征进行元积，以显著化行人区域的特征和平滑背景区域的特征，并获取多粒度深度特征；以及根据所述多粒度深度特征得到行人检测结果。2.根据权利要求1所述的基于多粒度深度特征学习的行人检测方法，其特征在于，所述细粒度深度特征生成网络为像素级别的二分类网络，其中，所述通过所述细粒度深度特征生成网络生成行人解析图，以得到细粒度深度特征，进一步包括：将所述输入图像的每一个像素分为背景和行人；根据所述背景和行人生成行人解析图；将所述行人解析图转化为所述细粒度深度特征。3.根据权利要求2所述的基于多粒度深度特征学习的行人检测方法，其特征在于，所述通过所述检测网络得到检测特征，进一步包括：将多个不同分辨率和感受野的卷积层作为检测层，其中，每个检测层负责预设尺度的目标，以解决行人检测任务中多尺度问题；将每个检测特征输入检测模块，以得到检测结果图，其中，在所述检测模块引入目标的环境信息。4.根据权利要求1所述的基于多粒度深度特征学习的行人检测方法，其特征在于，所述多粒度深度特征为：As,c＝Ds,c(M)⊙FS,C，其中，As,c为多粒度深度特征，M为行人解析图，Ds,c为细粒度深度特征变换操作，s为下采样倍数，c为通道数，FS,C为检测层特征，⊙为元积操作。5.根据权利要求1-4任一项所述的基于多粒度深度特征学习的行人检测方法，其特征在于，通过以下多任务目标函数训练深度卷积网络：L＝Lbox+λcLconf+λsLseg，其中，L为目标函数，Lbox为检测框回归函数，λs和λc均为权重，Lconf为分类目标函数，Lseg为行人解析目标函数。6.一种基于多粒度深度特征学...

【专利技术属性】
技术研发人员：鲁继文，周杰，林纯泽，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11