基于多任务级联卷积神经网络的头肩检测方法及装置制造方法及图纸

本发明专利技术公开一种基于多任务级联卷积神经网络的头肩检测方法及装置，其中，该基于多任务级联卷积神经网络的头肩检测方法，包括如下步骤:对每帧输入图像依次进行多级缩放处理，得到具有多个不同尺寸的目标图像；根据第一级卷积神经网络依次对多个不同尺寸的目标图像第一次卷积及池化处理，并根据第一次卷积及池化处理的结果筛选出满足预设第一阈值的多个候选头肩框；根据第二级卷积神经网络依次对多个候选头肩框进行第二次卷积及池化处理，并根据第二次卷积及池化处理的结果筛选出满足预设第二阈值的多个目标头肩框，以及输出目标头肩框。本发明专利技术的技术方案能够提高头肩检测准确性和可靠性，适合行人数量的统计。

【技术实现步骤摘要】
基于多任务级联卷积神经网络的头肩检测方法及装置
本专利技术涉及图像处理
，尤其涉及一种基于多任务级联卷积神经网络的头肩检测方法及装置。
技术介绍
随着计算机视觉和图像处理技术的快速发展，头肩检测通常用于人数统计及人形定位，在一定程度上可替代行人检测。目前，传统的头肩检测方法通常采用haar特征加adaboost级联，或者hog特征加svm分类器，但由于这些方法都是通过人工设计的特征提取低层次抽象特征，背景、光照、姿态等干扰很容易影响到头肩检测的效果，进一步导致头肩检测性能的严重降低，检测的精确性不能达到要求。有鉴于此，有必要对上述头肩检测方法进行进一步的改进。
技术实现思路
为解决上述至少一技术问题，本专利技术的主要目的是提供一种基于多任务级联卷积神经网络的头肩检测方法。为实现上述目的，本专利技术采用的一个技术方案为：提供一种基于多任务级联卷积神经网络的头肩检测方法，包括如下步骤:S10、对每帧输入图像依次进行多级缩放处理，得到具有多个不同尺寸的目标图像，所述目标图像包含有头肩框；S20、根据第一级卷积神经网络依次对多个不同尺寸的目标图像进行第一次卷积及池化处理，并根据第一次卷积及池化处理的结果筛选出满足预设第一阈值的多个候选头肩框；S30、根据第二级卷积神经网络依次对多个侯选头肩框进行第二次卷积及池化处理，并根据第二次卷积及池化处理的结果筛选出满足预设第二阈值的多个目标头肩框，以及S40、输出目标头肩框。其中，所述步骤S30之后步骤S40之前，还包括步骤S301、根据第三级卷积神经网络依次对多个候选头肩框进行第三次卷积及池化处理，并根据第三次卷积及池化处理的结果筛选出满足预设第三阈值的多个目标头肩框，其中，第三次卷积及池化处理的候选头肩框尺寸归一化为48x48x3。其中，所述步骤S10，具体包括：以设定的缩放因子对每帧输入图像依次进行多级缩放处理，得到具有多个不同尺寸的目标图像。其中，所述步骤S20，具体包括：根据第一级卷积神经网络依次对多个不同尺寸的目标图像进行第一次卷积及池化处理，以得到多个头肩框的位置坐标及对应的分类置信度；根据分类置信度筛选出大于预设的第一置信度阈值的多个头肩框；以及采用非极大值抑制方法合并相邻两个重叠率大于50％的一头肩框，形成候选头肩框。其中，所述步骤S30，具体包括：根据第二级卷积神经网络依次对多个不同尺寸的目标图像中的候选头肩框进行第二次卷积及池化处理，以得到多个候选头肩框的位置坐标及对应的分类置信度，所述第二次卷积及池化处理的候选头肩框尺寸归一化为24x24x3；根据第分类置信度筛选出大于预设的第二置信度阈值的多个候选头肩框；以及采用方法合并相邻两个重叠率大于30％的一候选头肩框，形成目标头肩框。为实现上述目的，本专利技术采用的另一个技术方案为：提供一种基于多任务级联卷积神经网络的头肩检测装置，包括：缩放模块，用于对每帧输入图像依次进行多级缩放处理，得到具有多个不同尺寸的目标图像，以及根据多个目标图像建立多尺寸金字塔模型图像，所述目标图像包含有头肩框；第一级卷积神经网络模块，用于根据第一级卷积神经网络依次对多个不同尺寸的目标图像进行第一次卷积及池化处理，并根据第一次卷积及池化处理的结果筛选出满足预设第一阈值的多个候选头肩框；第二级卷积神经网络模块，用于根据第二级卷积神经网络依次对多个候选头肩框进行第二次卷积及池化处理，并根据第二次卷积及池化处理的结果筛选出满足预设第二阈值的多个目标头肩框，以及输出模块，用于输出目标头肩框。其中，还包括第三级卷积神经网络模块，用于根据第三级卷积神经网络依次对多个候选头肩框进行第三次卷积及池化处理，并根据第三次卷积及池化处理的结果筛选出满足预设第三阈值的多个目标头肩框，其中，第三次卷积及池化处理的候选头肩框尺寸归一化为48x48x3。其中，所述缩放模块具体用于，以设定的缩放因子对每帧输入图像依次进行多级缩放处理，得到具有多个不同尺寸的目标图像。其中，所述第一级卷积神经网络模块，具体用于，依次对多个不同尺寸的目标图像进行第一次卷积及池化处理，以得到多个头肩框的位置坐标及对应的分类置信度；根据分类置信度筛选出大于预设的第一置信度阈值的多个头肩框；以及采用非极大值抑制方法合并相邻两个重叠率大于50％的一头肩框，形成候选头肩框。其中，所述第二级卷积神经网络模块，具体用于，依次对多个不同尺寸的目标图像中的候选头肩框进行第二次卷积及池化处理，以得到多个候选头肩框的位置坐标及对应的分类置信度，所述第二次卷积及池化处理的候选头肩框尺寸归一化为24x24x3；根据第分类置信度筛选出大于预设的第二置信度阈值的多个候选头肩框；以及采用非极大值抑制方法合并相邻两个重叠率大于30％的一候选头肩框，形成目标头肩框。本专利技术的技术方案主要通过对每帧输入图像依次进行多级缩放处理，得到具有多个不同尺寸的目标图像，所述目标图像包含有头肩框；以及根据第一级卷积神经网络依次对多个不同尺寸的目标图像进行第一次卷积及池化处理，并根据第一次卷积及池化处理的结果筛选出满足预设第一阈值的多个候选头肩框；然后根据第二级卷积神经网络依次对多个候选头肩框进行第二次卷积及池化处理，并根据第二次卷积及池化处理的结果筛选出满足预设第二阈值的多个目标头肩框，通过缩放图像和级联筛选符合要求的头肩框，从而可以提取出精确的头肩框，适合行人数量的统计。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。图1为本专利技术一实施例基于多任务级联卷积神经网络的头肩检测方法的结构示意图；图2a为图1中第一级卷积神经网络卷积计算过程示意图；图2b为图1中第二级卷积神经网络卷积计算过程示意图；图2c为图1中第三级卷积神经网络卷积计算过程示意图；图3为本专利技术一实施例基于多任务级联卷积神经网络的头肩检测装置的模块方框图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明，本专利技术中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本专利技术要求的保护范围之内。请参照图1，在本专利技术实施例中，该基于多任务级联卷积神经网络的头肩检测方法，包括如下步骤：S10、对输入图像依次进行多级缩放处理，得到具有多个不同尺寸的目标图像，所述目标图像包含有头肩框；S20、根据第一级卷积神经网络依次对多个不同尺寸的目标图像进行第一次卷积及池化本文档来自技高网...

【技术保护点】
一种基于多任务级联卷积神经网络的头肩检测方法，其特征在于，所述基于多任务级联卷积神经网络的头肩检测方法，包括如下步骤:S10、对每帧输入图像依次进行多级缩放处理，得到具有多个不同尺寸的目标图像，所述目标图像包含有头肩框；S20、根据第一级卷积神经网络依次对多个不同尺寸的目标图像进行第一次卷积及池化处理，并根据第一次卷积及池化处理的结果筛选出满足预设第一阈值的多个候选头肩框；S30、根据第二级卷积神经网络依次对多个候选头肩框进行第二次卷积及池化处理，并根据第二次卷积及池化处理的结果筛选出满足预设第二阈值的多个目标头肩框，以及S40、输出目标头肩框。

【技术特征摘要】
1.一种基于多任务级联卷积神经网络的头肩检测方法，其特征在于，所述基于多任务级联卷积神经网络的头肩检测方法，包括如下步骤:S10、对每帧输入图像依次进行多级缩放处理，得到具有多个不同尺寸的目标图像，所述目标图像包含有头肩框；S20、根据第一级卷积神经网络依次对多个不同尺寸的目标图像进行第一次卷积及池化处理，并根据第一次卷积及池化处理的结果筛选出满足预设第一阈值的多个候选头肩框；S30、根据第二级卷积神经网络依次对多个候选头肩框进行第二次卷积及池化处理，并根据第二次卷积及池化处理的结果筛选出满足预设第二阈值的多个目标头肩框，以及S40、输出目标头肩框。2.如权利要求1所述的基于多任务级联卷积神经网络的头肩检测方法，其特征在于，所述步骤S30之后步骤S40之前，还包括步骤S301、根据第三级卷积神经网络依次对多个候选头肩框进行第三次卷积及池化处理，并根据第三次卷积及池化处理的结果筛选出满足预设第三阈值的多个目标头肩框，其中，第三次卷积及池化处理的候选头肩框尺寸归一化为48x48x3。3.如权利要求1所述的基于多任务级联卷积神经网络的头肩检测方法，其特征在于，所述步骤S10，具体包括：以设定的缩放因子对每帧输入图像依次进行多级缩放处理，得到具有多个不同尺寸的目标图像。4.如权利要求1所述的基于多任务级联卷积神经网络的头肩检测方法，其特征在于，所述步骤S20，具体包括：根据第一级卷积神经网络依次对多个不同尺寸的目标图像进行第一次卷积及池化处理，以得到多个头肩框的位置坐标及对应的分类置信度；根据分类置信度筛选出大于预设的第一置信度阈值的多个头肩框；以及采用非极大值抑制方法合并相邻两个重叠率大于50％的一头肩框，形成候选头肩框。5.如权利要求1所述的基于多任务级联卷积神经网络的头肩检测方法，其特征在于，所述步骤S30，具体包括：根据第二级卷积神经网络依次对多个不同尺寸的目标图像中的候选头肩框进行第二次卷积及池化处理，以得到多个候选头肩框的位置坐标及对应的分类置信度，所述第二次卷积及池化处理的候选头肩框尺寸归一化为24x24x3；根据第分类置信度筛选出大于预设的第二置信度阈值的多个候选头肩框；以及采用非极大值抑制方法合并相邻两个重叠率大于30％的一候选头肩框，形成目标头肩框。6.一种基于多任务级联卷积神...

【专利技术属性】
技术研发人员：程炜，刘军，魏园波，
申请(专利权)人：深圳英飞拓科技股份有限公司，
类型：发明
国别省市：广东,44