基于垂直俯视角的行人标注、检测和性别识别方法技术

本发明专利技术公开了一种基于垂直俯视角的行人标注、检测和性别识别方法，包括：获取视频并基于视频得到视频帧的垂直俯视角图像；基于视频标注方法对垂直俯视角图像进行标注，得到行人旋转全身框；基于行人旋转全身框构建行人轨迹并对行人轨迹进行性别属性标注，得到带标签的行人旋转全身框；基于行人旋转全身框对预构建的行人检测网络进行训练，得到行人检测模型；基于带标签的行人旋转全身框对预构建的行人性别识别网络进行训练，得到行人性别识别模型。本发明专利技术基于垂直俯视角的情况下不会涉及行人的身份特征，能很好地保护行人隐私。本发明专利技术作为一种基于垂直俯视角的行人标注、检测和性别识别方法，可广泛应用于行人检测领域。可广泛应用于行人检测领域。可广泛应用于行人检测领域。

【技术实现步骤摘要】
基于垂直俯视角的行人标注、检测和性别识别方法


[0001]本专利技术属于行人数据标注、行人检测、行人属性识别领域，尤其涉及一种基于垂直俯视角的行人标注、检测和性别识别方法。

技术介绍

[0002]随着互联网和人工智能技术的发展，智能视频监控系统被广泛应用到安防监控、智慧零售等领域中。其中，行人计数功能是最基础最核心的功能之一，因此智能视频监控系统的基本要求就是要输出精准的行人计数。此外，单纯的进出数已经无法满足日益增长的客流属性需求，例如输出行人的基础属性性别等。基于精准行人计数和行人性别识别的系统已经能输出后续客流分析所需的基本数据，因此本文提出的系统着力于输出精准的行人计数和精准的行人性别属性。
[0003]同时智能视频监控系统也需要考虑到隐私保护和实际部署两方面的问题。关于隐私保护，这是因为随着人脸识别等基于生物特征的人工智能技术的广泛应用，涉及行人自身隐私的纠纷越来越多，隐私问题引起越来越多人的注意，尤其是国外的应用领域。关于实际部署，以往的人工智能技术应用都是需要足够高的算力来满足算法的运行，基于GPU服务器、基于云等解决方案还需要足够大的带宽来实现数据的传输，实际部署的成本较高。

技术实现思路

[0004]为了解决上述技术问题，本专利技术的目的是提供一种基于垂直俯视角的行人标注、检测和性别识别方法，基于垂直俯视角的情况下不会涉及行人的身份特征，能很好地保护行人隐私。
[0005]本专利技术所采用的第一技术方案是：基于垂直俯视角的行人标注、检测和性别识别方法，包括以下步骤：<br/>[0006]获取视频并基于视频得到视频帧的垂直俯视角图像；
[0007]基于视频标注方法对垂直俯视角图像进行标注，得到行人旋转全身框；
[0008]基于行人旋转全身框构建行人轨迹并对行人轨迹进行性别属性标注，得到带标签的行人旋转全身框；
[0009]基于行人旋转全身框对预构建的行人检测网络进行训练，得到行人检测模型；
[0010]基于带标签的行人旋转全身框对预构建的行人性别识别网络进行训练，得到行人性别识别模型。
[0011]进一步，还包括：
[0012]获取垂直俯仰角图像并输入到行人检测网络，得到行人中心点结果图、行人中心点偏移量结果图、行人脚点相对于中心点偏移量结果图和行人全身框宽高结果图；
[0013]根据行人中心点结果图、行人中心点偏移量结果图、行人脚点相对于中心点偏移量结果图和行人全身框宽高结果图构建行人旋转矩形全身框；
[0014]将行人旋转矩形全身框输入到行人性别识别模型，截取行人全身图像并进行性别
识别。
[0015]进一步，所述基于视频标注方法对垂直俯视角图像进行标注，得到行人旋转全身框这一步骤，其具体还包括：
[0016]通过对视频帧的垂直俯视角图像进行点击和拖拉操作画出行人头肩矩形框；
[0017]依次平滑起始帧和终点帧的头肩矩形框的四个点进行中间帧的头肩矩形框标签生成，得到头肩矩形框中点；
[0018]标注行人的脚中点，通过平滑起始帧和终点帧脚中点进行中间帧的脚中点标签生成，得到脚中点；
[0019]对脚中点和头肩矩形框中点的连线并基于该连线向两边垂直方向扩展一定像素，生成行人旋转全身框。
[0020]进一步，所述基于行人旋转全身框构建行人轨迹并对行人轨迹进行性别属性标注，得到带标签的行人旋转全身框这一步骤，其具体包括：
[0021]基于行人旋转全身框中的中间帧头肩矩形框标签和脚中点标签，构建行人轨迹；
[0022]对行人轨迹的其中一个帧进行性别属性标注，得到带标签的行人旋转全身框。
[0023]进一步，所述预构建的行人检测网络采用CenterNet目标检测网络，所述预构建的行人性别识别网络采用ShufflenetV2高效轻量级网络。
[0024]进一步，所述基于行人旋转全身框对预构建的行人检测网络进行训练，得到行人检测模型这一步骤，其具体包括：
[0025]将带有行人旋转全身框的垂直俯视角图像输入到预构建的行人检测网络，得到行人中心点结果图、行人中心点偏移量结果图、行人脚点相对于中心点偏移量结果图和行人全身框宽高结果图；
[0026]基于行人中心点结果图、行人中心点偏移量结果图、行人脚点相对于中心点偏移量结果图和行人全身框宽高结果图构建行人中心点预测损失函数、行人中心点偏移量预测损失函数、行人脚点相对于中心点偏移量预测损失函数和行人宽高预测损失函数；
[0027]将行人中心点预测损失函数、行人中心点偏移量预测损失函数、行人脚点相对于中心点偏移量预测损失函数和行人宽高预测损失函数进行加权处理得到行人检测最终损失函数；
[0028]基于行人检测最终函数对预构建的行人检测网络的参数进行更新，得到行人检测模型。
[0029]进一步，所述基于带标签的行人旋转全身框对预构建的行人性别识别网络进行训练，得到行人性别识别模型这一步骤，其具体包括：
[0030]将带标签的行人旋转全身框输入到预构建的行人性别识别网络，得到预测性别分类；
[0031]基于预测性别分类和对应的性别标签构建softmax损失函数；
[0032]基于softmax损失函数对预构建的行人性别识别网络进行更新，得到行人性别识别模型。
[0033]本专利技术方法的有益效果是：本专利技术能在垂直俯视角下，通过截取行人的全身框并进行对齐，输出行人的性别属性，为行人客流分析方案提供基础数据，并且创新的标注数据方法，采用视频标注方法，标注行人头肩、标注行人脚点生成全身框、标注单个轨迹的性别
属性，能提高数据标注的速度，该方法简答有效，且能达到隐私保护的目的。
附图说明
[0034]图1是本专利技术具体实施例的步骤流程图；
[0035]图2是本专利技术具体实施例中行人标注方法的流程图。
具体实施方式
[0036]下面结合附图和具体实施例对本专利技术做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
[0037]参照图1，本专利技术提供了一种基于垂直俯视角的行人标注、检测和性别识别方法，该方法包括以下步骤：
[0038]获取视频并基于视频得到视频帧的垂直俯视角图像；
[0039]基于视频标注方法对垂直俯视角图像进行标注，得到行人旋转全身框；
[0040]基于行人旋转全身框构建行人轨迹并对行人轨迹进行性别属性标注，得到带标签的行人旋转全身框；
[0041]基于行人旋转全身框对预构建的行人检测网络进行训练，得到行人检测模型；
[0042]基于带标签的行人旋转全身框对预构建的行人性别识别网络进行训练，得到行人性别识别模型。
[0043]具体地，本专利技术能部署到嵌入式设备上，采用边缘计算，能极大减低部署成本及所需带宽，同时在嵌入式设备完成数据采集和分析，不用将数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于垂直俯视角的行人标注、检测和性别识别方法，其特征在于，包括以下步骤：获取视频并基于视频得到视频帧的垂直俯视角图像；基于视频标注方法对垂直俯视角图像进行标注，得到行人旋转全身框；基于行人旋转全身框构建行人轨迹并对行人轨迹进行性别属性标注，得到带标签的行人旋转全身框；基于行人旋转全身框对预构建的行人检测网络进行训练，得到行人检测模型；基于带标签的行人旋转全身框对预构建的行人性别识别网络进行训练，得到行人性别识别模型。2.根据权利要求1所述基于垂直俯视角的行人标注、检测和性别识别方法，其特征在于，还包括：获取垂直俯仰角图像并输入到行人检测网络，得到行人中心点结果图、行人中心点偏移量结果图、行人脚点相对于中心点偏移量结果图和行人全身框宽高结果图；根据行人中心点结果图、行人中心点偏移量结果图、行人脚点相对于中心点偏移量结果图和行人全身框宽高结果图构建行人旋转矩形全身框；将行人旋转矩形全身框输入到行人性别识别模型，截取行人全身图像并进行性别识别。3.根据权利要求2所述基于垂直俯视角的行人标注、检测和性别识别方法，其特征在于，所述基于视频标注方法对垂直俯视角图像进行标注，得到行人旋转全身框这一步骤，其具体还包括：通过对视频帧的垂直俯视角图像进行点击和拖拉操作画出行人头肩矩形框；依次平滑起始帧和终点帧的头肩矩形框的四个点进行中间帧的头肩矩形框标签生成，得到头肩矩形框中点；标注行人的脚中点，通过平滑起始帧和终点帧脚中点进行中间帧的脚中点标签生成，得到脚中点；对脚中点和头肩矩形框中点的连线并基于该连线向两边垂直方向扩展一定像素，生成行人旋转全身框。4.根据权利要求3所述基于垂直俯视角的行人标注、检测和性别识别方法，其特征在于，所述基于行人旋转全身框构建行人轨迹并对行人轨迹进行性别属性标注，得到带标签的行人旋转全身框这一步骤，其具体包括：基于行人旋...

【专利技术属性】
技术研发人员：谢晓华，林民钊，赖剑煌，
申请(专利权)人：中山大学，
类型：发明
国别省市：