基于联合检测模型的部分遮挡行人检测方法技术

本发明专利技术公开了一种基于联合检测模型的部分遮挡行人检测方法，选择遮挡等级较低的单行人训练正样本和遮挡等级较高的双行人训练正样本，结合负样本分别训练单行人可形变部件混合模型和双行人可形变部件混合模型，同时分别训练单行人包围框预测器和双行人包围框预测器；对于待检测图像分别两种可形变部件混合模型进行行人目标行检测，得到检测结果；然后根据重叠度判断得到双行人检测结果和单行人检测结果中的同一目标检测结果，去除响应得分较低的检测结果，对筛选后的检测结果进行包围框预测，得到每个行人目标的包围框，然后再对包围框去重，得到最终的行人目标检测结果。采用本发明专利技术可以有效提高遮挡程度较高的行人目标的检测能力。

【技术实现步骤摘要】

本专利技术属于计算机视觉
，更为具体地讲，涉及一种基于联合检测模型的部分遮挡行人检测方法。
技术介绍
行人检测就是把行人看成是目标检测的主体，判断输入图像或者视频流中是否包含人体目标，如果有，就将其位置信息标定出来。由于行人具有非刚性特征，在检测中容易受外界环境因素的影响，遮挡问题就是行人检测中的一大难题。在实际情况中，行人产生遮挡问题主要源于拍摄的角度，由于摄像头无法对行人目标进行全方位检测，固定的拍摄角度必然会产生遮挡，所以，遮挡问题也是行人检测领域普遍存在的问题。由于身体被部分遮挡，在检测过程中有用的信息相对减少，从而导致漏检测的发生。现今许多优秀的行人检测算法，对于完整的行人目标有很好的检测效果，一旦遇到遮挡问题，这些算法的检测效果就大打折扣，所以，遮挡问题一直是行人检测中的难点之一。关键之处在于如何通过未被遮挡的部分来估计出行人目标的位置。行人检测中的遮挡大致分为以下两类：物体遮挡和行人之间的自遮挡。在相对拥挤的环境中，行人之间的自遮挡出现频繁，所以行人的遮挡问题主要集中在行人与行人之间的相互遮挡。Felzenszwalb提出的基于图结构的可形变部件模型(Deformable Part Model，简称DPM)将整体信息和局部信息很好的结合在一起，能够解决遮挡程度较低行人的遮挡问题，对于严重的遮挡问题(遮挡程度在50％以上)却无能为力。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于联合检测模型的部分遮挡行人检测方法，通过单行人可形变部件混合模型和双行人可形变部件混合模型的配合，有效提高了遮挡程度较高的行人目标的检测能力，从而提高了对遮挡行人的检测率。为实现上述专利技术目的，本专利技术基于联合检测模型的部分遮挡行人检测方法
包括以下步骤：S1：选择训练样本，其中单行人训练样本中的正样本为行人自遮挡等级小于阈值T或者被静止物体遮挡的行人样本图像，每个行人作为一个目标；双行人训练样本中的正样本为遮挡等级大于阈值T的行人自遮挡样本图像，每两个相互遮挡的行人作为一个目标；负样本为没有行人目标的样本图像；每个样本图像对应一个标注文件，标注文件包括图像中出现的每个目标的类别以及目标的包围框；S2：根据预设的单行人正样本聚类数Ns和双行人正样本聚类数Nd，按照每个正样本中的目标包围框长宽比，采用聚类算法分别对单行人训练样本和双行人训练样本的正样本进行聚类；S3：采用步骤S2聚类得到的正样本图像以及负样本图像，分别训练单行人可形变部件混合模型和双行人可形变部件混合模型，其中单行人可形变部件混合模型包括Ns个可形变部件模型，双行人可形变部件混合模型包括Nd个可形变部件模型；S4：对于单行人和双行人训练样本中的正样本，分别采用对应的可形变部件混合模型的检测结果作为输入，正样本中的每个单个行人目标包围框作为输出，训练得到对应的单行人包围框预测器和双行人包围框预测器；S5：对于待检测图像，分别采用单行人可形变部件混合模型和双行人可形变部件混合模型进行行人目标检测，得到检测结果，每个检测结果包括行人目标对应的根滤波器位置和部件滤波器相对位置及行人目标的响应得分；S6：记单行人可形变部件混合模型的检测结果集合为Ms表示单行人可形变部件混合模型的检测结果数量；双行人可形变部件混合模型的检测结果集合为Md表示双行人可形变部件混合模型的检测结果数量；对每个单行人检测结果，分别计算其根滤波器目标框与每个双行人检测结果中根滤波器目标框的重叠度，如果重叠度大于阈值，则认为这两个检测结果所对应的行人目标相同，将其中响应得分较低的检测结果删除；将筛选过后得到的单行人检测结果集合记为A′，双行人检测结果集合记为B′；S7：对于单行人检测结果集合A′中的每个检测结果采用单行人包围框预测器进行目标包围框预测，对双行人检测结果集合B′中的每个检测结果采用双行
人包围框预测器进行包围框预测，得到每个单个行人目标的包围框，将行人目标包围框所对应检测结果的响应得分作为该包围框的得分；S8：将步骤S7得到的包围框记为集合C＝(c1,c2,…,cK)，K表示包围框数量；每次从集合C中选择得分最高的包围框c*作为行人目标，加入行人目标集合O，并从集合C中删除，计算包围框c*与集合C中所有包围框的重叠度，如果某个包围框与包围框c*的重叠度大于阈值，则说明该包围框所对应目标与包围框c*所对应目标重复，将该包围框从集合C中删除；直到集合将当前的行人目标集合O作为最终的行人目标集合。本专利技术基于联合检测模型的部分遮挡行人检测方法，选择遮挡等级低的单行人训练正样本和遮挡等级较高的双行人训练正样本，结合负样本分别训练单行人可形变部件混合模型和双行人可形变部件混合模型，同时根据正样本分别训练单行人包围框预测器和双行人包围框预测器；对于待检测图像，分别采用单行人可形变部件混合模型和双行人可形变部件混合模型进行行人目标行检测，得到检测结果；然后根据重叠度判断得到双行人检测结果和单行人检测结果中的同一目标检测结果，去除响应得分较低的检测结果，对筛选后的检测结果进行包围框预测，得到每个行人目标的包围框，然后再对包围框去重，得到最终的行人目标检测结果。本专利技术融合了单行人可形变部件混合模型和双行人可形变部件混合模型的优势，通过双行人模型组件中部件滤波器对行人未遮挡部分进行模板匹配，预测出遮挡行人的位置信息，从而能够有效的解决行人相互遮挡问题，同时单行人模型组件对单个行人有很好的鲁棒性，从而使得在相对较拥挤的环境中能够有效提高行人检测的检测率。本专利技术通过单行人可形变部件混合模型和双行人可形变部件混合模型的配合，有效提高了遮挡程度较高的行人目标的检测能力，从而提高了对遮挡行人的检测率。附图说明图1是本专利技术基于联合检测模型的部分遮挡行人检测方法的流程图；图2是训练样本正样本的示例图；图3是本实施例中5个可形变部件模型的可视图；图4是检测结果筛选示例图；图5是本专利技术中包围框筛选流程图；图6是包围框筛选示例图；图7是7张待检测图像的行人检测结果。具体实施方式下面结合附图对本专利技术的具体实施方式进行描述，以便本领域的技术人员更好地理解本专利技术。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本专利技术的主要内容时，这些描述在这里将被忽略。实施例图1是本专利技术基于联合检测模型的部分遮挡行人检测方法的流程图。如图1所示，本专利技术基于联合检测模型的部分遮挡行人检测方法包括以下步骤：S101：获取训练样本：本专利技术中包含了单行人可形变部件模型和双行人可形变部件模型，因此需要分别选择训练样本。单行人训练样本中的正样本图像为行人自遮挡等级(也就是某个行人被另一行人遮挡的面积占该行人目标总面积的百分比)小于阈值T或者被静止物体遮挡的行人样本图像，每个行人作为一个目标；双行人训练样本中的正样本图像为遮挡等级为遮挡等级大于阈值T的行人自遮挡样本图像，每两个相互遮挡的行人作为一个目标。负样本为没有行人目标的样本图像，单行人模型和双行人模型可以共用一个负样本集，也可以分别使用一个负样本集。每个样本图像对应一个标注文件，标注文件包括图像中出现的每个目标的类别以及目标的包围框。图2是训练样本正样本的示例图。如图2所示，本实施例中的训练样本来一部分来自于INRIA、C本文档来自技高网...

【技术保护点】
一种基于联合检测模型的部分遮挡行人检测方法，其特征在于，包括以下步骤：S1：选择训练样本，其中单行人训练样本中的正样本为行人自遮挡等级小于阈值T或者被静止物体遮挡的行人样本图像，每个行人作为一个目标；双行人训练样本中的正样本为遮挡等级为遮挡等级大于阈值T的行人自遮挡样本图像，每两个相互遮挡的行人作为一个目标；负样本为没有行人目标的样本图像；每个样本图像对应一个标注文件，标注文件包括图像中出现的每个目标的类别以及目标的包围框；S2：根据预设的单行人正样本聚类数Ns和双行人正样本聚类数Nd，按照每个正样本中的目标包围框长宽比，采用聚类算法分别对单行人训练样本和双行人训练样本的正样本进行聚类；S3：采用步骤S2聚类得到的正样本图像以及负样本图像，分别训练单行人可形变部件混合模型和双行人可形变部件混合模型，其中单行人可形变部件混合模型包括Ns个可形变部件模型，双行人可形变部件混合模型包括Nd个可形变部件模型；S4：对于单行人和双行人训练样本中的正样本，分别采用对应的可形变部件混合模型的检测结果作为输入，正样本中的每个单个行人目标包围框作为输出，训练得到对应的单行人包围框预测器和双行人包围框预测器；S5：对于待检测图像，分别采用单行人可形变部件混合模型和双行人可形变部件混合模型进行行人目标检测，得到检测结果，每个检测结果包括行人目标对应的根滤波器位置和部件滤波器相对位置及行人目标的响应得分；S6：记单行人可形变部件混合模型的检测结果集合为Ms表示单行人可形变部件混合模型的检测结果数量；双行人可形变部件混合模型的检测结果集合为Md表示双行人可形变部件混合模型的检测结果数量；对每个单行人检测结果，分别计算其根滤波器目标框与每个双行人检测结果中根滤波器目标框的重叠度，如果重叠度大于阈值，则认为这两个检测结果所对应的行人目标相同，将其中响应得分较低的检测结果删除；将筛选过后得到的单行人检测结果集合记为A′，双行人检测结果集合记为B′；S7：对于单行人检测结果集合A′中的每个检测结果采用单行人包围框预测器进行目标包围框预测，对双行人检测结果集合B′中的每个检测结果采用双行人包围框预测器进行包围框预测，得到每个单个行人目标的包围框，将行人目标包围框所对应检测结果的响应得分作为该包围框的得分；S8：将步骤S7得到的包围框记为集合C＝(c1,c2,…,cK)，K表示包围框数量；每次从集合C中选择得分最高的包围框c*作为行人目标，加入行人目标集合O，并从集合C中删除，计算包围框c*与集合C中所有包围框的重叠度，如果某个包围框与包围框c*的重叠度大于阈值，将该包围框包围框c*从集合C中删除；直到集合将当前的行人目标集合O作为最终的行人目标集合。...

【技术特征摘要】
1.一种基于联合检测模型的部分遮挡行人检测方法，其特征在于，包括以下步骤：S1：选择训练样本，其中单行人训练样本中的正样本为行人自遮挡等级小于阈值T或者被静止物体遮挡的行人样本图像，每个行人作为一个目标；双行人训练样本中的正样本为遮挡等级为遮挡等级大于阈值T的行人自遮挡样本图像，每两个相互遮挡的行人作为一个目标；负样本为没有行人目标的样本图像；每个样本图像对应一个标注文件，标注文件包括图像中出现的每个目标的类别以及目标的包围框；S2：根据预设的单行人正样本聚类数Ns和双行人正样本聚类数Nd，按照每个正样本中的目标包围框长宽比，采用聚类算法分别对单行人训练样本和双行人训练样本的正样本进行聚类；S3：采用步骤S2聚类得到的正样本图像以及负样本图像，分别训练单行人可形变部件混合模型和双行人可形变部件混合模型，其中单行人可形变部件混合模型包括Ns个可形变部件模型，双行人可形变部件混合模型包括Nd个可形变部件模型；S4：对于单行人和双行人训练样本中的正样本，分别采用对应的可形变部件混合模型的检测结果作为输入，正样本中的每个单个行人目标包围框作为输出，训练得到对应的单行人包围框预测器和双行人包围框预测器；S5：对于待检测图像，分别采用单行人可形变部件混合模型和双行人可形变部件混合模型进行行人目标检测，得到检测结果，每个检测结果包括行人目标对应的根滤波器位置和部件滤波器相对位置及行人目标的响应得分；S6：记单行人可形变部件混合模型的检测结果集...

【专利技术属性】
技术研发人员：康波，江鸥，王冰峰，赵辉，李云霞，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51