基于俯视图像的客流统计模型训练方法和客流统计方法技术

本发明专利技术提供了一种基于俯视图像的客流统计模型训练方法和一种客流统计方法，其中，客流统计方法包括：获取多张俯视帧图像并形成测试图像集；获取各俯视帧图像中所有目标行人的脚部的虚拟正投影点，针对每个目标行人出现的多张俯视帧图像中的各虚拟正投影点，获取目标行人在待测场景的行进轨迹；判断行进轨迹与俯视帧图像上的统计标线的位置关系，以判定目标行人进店或离店。本发明专利技术解决了现有技术中的利用取像方向垂直于地面的取像装置拍摄的俯视图像进行客流统计时，会因行人的头部中心点偏移，造成头部中心点与地面上的统计标线出现位置比较错误，从而导致客流统计中存在行人重复检测或行人漏检的现象，进而影响了客流统计的准确率的问题。

【技术实现步骤摘要】
基于俯视图像的客流统计模型训练方法和客流统计方法
本专利技术涉及图像处理、行人识别及客流统计
，具体而言，涉及一种基于俯视图像的客流统计模型训练方法和一种客流统计方法。
技术介绍
目前，很多公共场所均配置有用于监控或人员数据统计的取像装置；例如，火车站、汽车站、飞机场、地铁站、医院、银行、学校、商场或门店等。以商场或门店为例，在人员进出口处通常会安装用于客流统计的摄像头，以有利于对进出商场或门店的人员数量进行宏观调控，也便于通过客流的精确统计对经营模式的微观调整，提升商场或门店服务的智能化以及便利化。随着社会的不断进步，人们对个人隐私保护的需求愈来愈高，通过识别人脸的方式进行客流统计因存在易泄露用户信息的风险而逐步被淘汰，因此，为了采集人脸信息而采用的传统的倾斜式安装取像装置的方式也逐渐不再使用。现有技术中，还有一类取像装置是以内嵌或突出的方式垂直安装于建筑物的顶部的，例如用于客流统计的摄像头，此类取像装置的取像方向垂直于地面，其拍摄的图像为固定区域范围内的俯视图像，因为俯视图像中拍摄的行人的有效身体面积很小，能够直观获得的行人身体特征的信息量很少，尤其是行人的面部特征存在形变情况，从而完美地克服了泄露用户信息的问题。但是，利用此类取像装置拍摄的俯视图像进行客流统计时，通常以行人的头部中心点与地面上的统计标线进行位置比较以统计行人，而当行人不位于拍摄中心点时，行人与取像装置之间仍然存在取像夹角，取像夹角的存在导致行人的头部中心点出现位置偏移，从而造成头部中心点与地面上的统计标线出现位置比较错误，进而导致客流统计中存在行人重复检测或行人漏检的现象，严重影响了客流统计的准确率。
技术实现思路
本专利技术的主要目的在于提供一种基于俯视图像的客流统计模型训练方法和一种客流统计方法，以解决现有技术中的利用取像方向垂直于地面的取像装置拍摄的俯视图像进行客流统计时，会因行人的头部中心点偏移，造成头部中心点与地面上的统计标线出现位置比较错误，从而导致客流统计中存在行人重复检测或行人漏检的现象，进而影响了客流统计的准确率的问题。为了实现上述目的，根据本专利技术的一个方面，提供了一种基于俯视图像的客流统计模型训练方法，包括：步骤S1，获取俯视图像，在俯视图像上对显示的目标行人进行信息标注，包括：标注目标行人的头部外接矩形框以及目标行人的两个脚部关键点；步骤S2，根据头部外接矩形框获取目标行人的头部中心点，根据两个脚部关键点获取目标行人的双脚中心点，以双脚中心点作为头部中心点在目标行人的脚部处于的二维支撑平面内的虚拟正投影点；步骤S3，重复步骤S1和步骤S2直至获取经过信息标注的预设数量的俯视图像后构成样本图像训练集，使用样本图像训练集训练初始模型训练成为客流统计模型。进一步地，脚部关键点的标注位置落在俯视图像上的目标行人的脚部区域范围内，俯视图像上双脚中心点为两个脚部关键点的几何连线中点。进一步地，在俯视图像中，当目标行人的脚部处于遮挡状态，根据目标行人的身体的未遮挡部位的显示比例在俯视图像中计算获取脚部关键点的位置。进一步地，样本图像训练集输入初始模型产生的预测结果包括：头部中心点的预测结果、脚部关键点的预测结果、头部外接矩形框宽高回归量的预测结果、双脚中心点距离头部中心点在二维支撑平面内的偏移量的预测结果；预测结果的损失函数为：Ltotal=Lhm+Lfp+Lwh+Lfps；其中，Lhm为对应于头部中心点的预测结果的损失函数；Lfp为对应于脚部关键点的预测结果的损失函数；Lwh为对应于头部外接矩形框宽高回归量的预测结果的损失函数；Lfps为对应于双脚中心点距离头部中心点在二维支撑平面内的偏移量的预测结果的损失函数。根据本专利技术的另一方面，提供了一种基于俯视图像的客流统计方法，包括：步骤S1，获取待测场景的俯视监控视频，根据俯视监控视频获取多张俯视帧图像并形成测试图像集；步骤S2，将测试图像集输入客流统计模型，获取各俯视帧图像中所有目标行人的脚部处于的二维支撑平面内的虚拟正投影点，其中，客流统计模型为根据上述的客流统计模型训练方法获取的客流统计模型；步骤S3，针对每个目标行人出现的多张俯视帧图像中的各虚拟正投影点，获取目标行人在待测场景的行进轨迹；步骤S4，通过判断行进轨迹与俯视帧图像上预先划定的统计标线的位置关系，以判定目标行人进店或离店。进一步地，在步骤S2中，虚拟正投影点的获取过程为：获取目标行人的头部外接矩形框、头部中心点、双脚中心点以及双脚中心点距离头部中心点在二维支撑平面内的偏移量，根据头部中心点以及偏移量得到头部中心点在二维支撑平面内的头部回归点，计算头部回归点与双脚中心点之间的距离，当两者之间的距离大于或等于预设长度时，使用头部回归点作为虚拟正投影点；当两者之间的距离小于预设长度时，使用双脚中心点作为虚拟正投影点。进一步地，头部中心点在二维支撑平面上具有实际正投影点，在二维支撑平面上，以实际正投影点为圆心，以目标行人的脚部的长度为直径形成圈定区域；当双脚中心点落于圈定区域的范围内时，以双脚中心点作为虚拟正投影点；当双脚中心点落于圈定区域的范围外时，将双脚中心点随机投放到圈定区域内并获取坐标，作为脚部投放中心点，以脚部投放中心点作为虚拟正投影点。进一步地，统计标线划定在俯视帧图像中的目标行人的脚部处于的二维支撑平面内。进一步地，统计标线沿着待测场景中的门店的进门或出门的门线划定；或统计标线与待测场景中的门店的进门或出门的门线具有预设距离，预设距离大于等于0.5m且小于等于1m。进一步地，当行进轨迹与统计标线相交一次时，判定目标行人进店一次或离店一次；当行进轨迹与统计标线相交多次时，当最后一次交点产生时目标行人的面部朝向背离待测场景中心时，判定目标行人进店一次或离店一次。应用本专利技术提供的客流统计方法，利用客流统计模型针对垂直安装的取像设备所拍摄的俯视监控视频的多张俯视帧图像进行目标行人识别检测，客流统计模型能够自动获取俯视帧图像中各目标行人的头部中心点在其双脚处于的二维支撑平面上的虚拟正投影点，结合俯视监控视频的多张俯视帧图像，将多个虚拟正投影点连线形成目标行人的行进轨迹并不断地在一张俯视帧图像上反馈更新，将行进轨迹与俯视帧图像上预先划定的统计标线进行位置比较，以作为针对目标行人是否进行客流统计的依据，避免了使用目标行人的头部中心点与统计标线进行空间上的位置比较，因头部中心点出现位置偏移而出现与统计标线位置比较错误的现象发生，而是直接基于在二维支撑平面内进行直观的虚拟正投影点与统计标线的位置比较，确保了位置统计的精度，从而能够大大地提高客流统计的准确率。而能够实现上述功能的客流统计模型需要使用本专利技术提供的基于俯视图像的客流统计模型训练方法训练获得，具体而言，用带有目标行人信息标注的多张俯视图像构成的样本图像训练集对初始模型进行训练，即，使用人工标注的方式在各俯视图像中标注出目标行人的头部外接矩形框以及目标行人的两个脚部关键点，其中，通过两个脚部关键点获取目标行人的双脚中心点，以双脚中心点位置对应于目标行人的头部中心点在二维支本文档来自技高网...

【技术保护点】
1.一种基于俯视图像的客流统计模型训练方法，其特征在于，包括：/n步骤S1，获取俯视图像，在所述俯视图像上对显示的目标行人进行信息标注，包括：标注所述目标行人的头部外接矩形框以及所述目标行人的两个脚部关键点；/n步骤S2，根据所述头部外接矩形框获取所述目标行人的头部中心点，根据两个所述脚部关键点获取所述目标行人的双脚中心点，以所述双脚中心点作为所述头部中心点在所述目标行人的脚部处于的二维支撑平面内的虚拟正投影点；/n步骤S3，重复所述步骤S1和所述步骤S2直至获取经过信息标注的预设数量的所述俯视图像后构成样本图像训练集，使用所述样本图像训练集训练初始模型训练成为客流统计模型。/n

【技术特征摘要】
1.一种基于俯视图像的客流统计模型训练方法，其特征在于，包括：
步骤S1，获取俯视图像，在所述俯视图像上对显示的目标行人进行信息标注，包括：标注所述目标行人的头部外接矩形框以及所述目标行人的两个脚部关键点；
步骤S2，根据所述头部外接矩形框获取所述目标行人的头部中心点，根据两个所述脚部关键点获取所述目标行人的双脚中心点，以所述双脚中心点作为所述头部中心点在所述目标行人的脚部处于的二维支撑平面内的虚拟正投影点；
步骤S3，重复所述步骤S1和所述步骤S2直至获取经过信息标注的预设数量的所述俯视图像后构成样本图像训练集，使用所述样本图像训练集训练初始模型训练成为客流统计模型。


2.根据权利要求1所述的客流统计模型训练方法，其特征在于，所述脚部关键点的标注位置落在所述俯视图像上的所述目标行人的脚部区域范围内，所述俯视图像上双脚中心点为两个所述脚部关键点的几何连线中点。


3.根据权利要求2所述的客流统计模型训练方法，其特征在于，在所述俯视图像中，当所述目标行人的脚部处于遮挡状态，根据所述目标行人的身体的未遮挡部位的显示比例在所述俯视图像中计算获取所述脚部关键点的位置。


4.根据权利要求1所述的客流统计模型训练方法，其特征在于，所述样本图像训练集输入所述初始模型产生的预测结果包括：头部中心点的预测结果、脚部关键点的预测结果、头部外接矩形框宽高回归量的预测结果、双脚中心点距离头部中心点在二维支撑平面内的偏移量的预测结果；
所述预测结果的损失函数为：
Ltotal=Lhm+Lfp+Lwh+Lfps
其中，Lhm为对应于头部中心点的预测结果的损失函数；
Lfp为对应于脚部关键点的预测结果的损失函数；
Lwh为对应于头部外接矩形框宽高回归量的预测结果的损失函数；
Lfps为对应于双脚中心点距离头部中心点在二维支撑平面内偏移量的预测结果的损失函数。


5.一种基于俯视图像的客流统计方法，其特征在于，包括：
步骤S1，获取待测场景的俯视监控视频，根据所述俯视监控视频获取多张俯视帧图像并形成测试图像集；
步骤S2，将所述测试图像集输入所述客流统计模型，获取各所述俯视帧图像中所有目标行人的脚部处于的二维支撑平面内的虚拟正投影点，其中，所述客流统计模型为根据权利要求1至4中任一...

【专利技术属性】
技术研发人员：张志嵩，曹松，任必为，郑翔，宋君，陶海，
申请(专利权)人：北京文安智能技术股份有限公司，
类型：发明
国别省市：北京;11