一种轻小型无人机视频人群密度评估方法及系统技术方案

本发明专利技术公开了图像处理技术领域的一种轻小型无人机视频人群密度评估方法及系统，所述的轻小型无人机视频人群密度评估方法，包括：融合视频时空信息，并进行人群密度回归深度网络结构的构建；对视频数据关键帧进行离线训练，得到人群密度热点图的神经网络参数模型；对视频数据所有帧通过神经网络参数模型进行在线推理，统计各帧人群密度热点图中的像素点个数作为评估人数量，本发明专利技术通过融合无人机视频时空信息进行人群密度评估，并采用多路网络架构，分别从连续多帧图像提取时域信息，和从单帧图像中提取当前图像空间信息，并通过基于张量的融合将两路信息进行时空信息融合，得到最终的人群密度热点图，并且具备估计精准度高和鲁棒性好的特点。和鲁棒性好的特点。和鲁棒性好的特点。

【技术实现步骤摘要】
一种轻小型无人机视频人群密度评估方法及系统


[0001]本专利技术涉及图像处理
，特别是涉及一种轻小型无人机视频人群密度评估方法及系统。

技术介绍

[0002]当前，人群密集场所的公共安全问题越来越突出。为了保障公共安全，对公共场所尤其是人口密集区域的人数统计显得尤为重要。轻小型无人机由于其成本低廉、机动灵活、受地形限制条件小、观测范围大等优点，应用越来越广泛。
[0003]现有的基于固定位置的监控摄像头观测，视野受限，而基于无人机平台可以实现对重点关注区域的大场景实时观测。采用无人机进行对地观测的图像，不通于近景自然拍摄图像，对人、车等目标只能得到顶视图像，不能获知全貌的细节图像，且尺度相对较小。特别是在人群密集区域，对人流中单个个体进行检测统计导致人数统计精度较低。随着深度学习在图像处理和分析上的成功应用，使得深度学习算法逐渐引入到人群密度统计上。
[0004]但本申请专利技术人在实现本申请实施例中专利技术技术方案的过程中，发现上述技术至少存在如下技术问题：
[0005]1、视频监控位置较为固定，不便于实现监控时的机动灵活性、视野性的调节；
[0006]2、主要采用图像处理的方法来统计人群的个体数量，受环境、目标的相互干扰影响大，估计精度不高，鲁棒性差；
[0007]3、基于无人机拍摄的图像，目标在图像中普遍尺度较小，只有顶部等局部信息。
[0008]基于此，本专利技术设计了一种轻小型无人机视频人群密度评估方法及系统，以解决上述问题。

技术实现思路
r/>[0009]为了解决目前
技术介绍
提及的技术问题，本专利技术的目的是提供一种轻小型无人机视频人群密度评估方法及系统。
[0010]为了实现上述目的，本专利技术采用如下技术方案：
[0011]一种轻小型无人机视频人群密度评估方法，包括：
[0012]融合视频时空信息，并进行人群密度回归深度网络结构的构建；
[0013]对视频数据关键帧进行离线训练，得到人群密度热点图的神经网络参数模型；
[0014]对视频数据所有帧通过神经网络参数模型进行在线推理，统计各帧人群密度热点图中的像素点个数作为评估人数量。
[0015]进一步的，所述视频时空信息的融合，包括：
[0016]对视频连续多帧图像中通过三维卷积网络提取出时域运动信息的分支网络结构；
[0017]对当前帧图像通过二维卷积网络提取出图像空间信息的分支网络结构；
[0018]将上述两种所述分支网络结构通过时空特征通道融合网络结构。
[0019]进一步的，所述对视频数据关键帧的离线训练，包括：
[0020]抽取视频数据中的关键帧进行人工标注，其中，所述人工标注用于记录图像中人头部中心位置；
[0021]根据人工标注的头部中心位置点，生成人群密度热点图作为训练真值；
[0022]将标记好的训练真值数据进行网络端对端的训练，学习神经网络参数模型。
[0023]进一步的，所述对视频数据所有帧的在线推理，包括：
[0024]将视频逐帧或采集帧输入至神经网络模型，预测人群密度热点图；
[0025]对该预测图像中的像素点个数进行统计，并收录符合预定要求的像素点个数作为图像中人数量参数。
[0026]进一步的，所述收录符合要求像素点个数过程中，包括：
[0027]判断图像中像素点个数是否超出阈值，并在超出阈值时，控制将该像素点个数作为图像中人数量。
[0028]一种轻小型无人机视频人群密度评估系统，包括：
[0029]时空信息融合模块，用于将当前采集视频的时空信息进行融合处理；
[0030]网络结构搭建模块，用于将融合后的时空信息进行人群密度回归深度网络结构的构建；
[0031]离线训练模块，用于对视频数据关键帧进行训练，得到人群密度热点图的神经网络参数模型；
[0032]在线推理模块，用于对视频数据所有帧通过神经网络参数模型进行推理，统计各帧人群密度热点图中的像素点个数作为评估人数量。
[0033]本专利技术实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
[0034]通过融合无人机视频时空信息进行人群密度评估，并采用多路网络架构，分别从连续多帧图像提取时域信息，和从单帧图像中提取当前图像空间信息，并通过基于张量的融合将两路信息进行时空信息融合，得到最终的人群密度热点图，并且具备估计精准度高和鲁棒性好的特点。
附图说明
[0035]以下结合附图和具体实施方式来进一步详细说明本专利技术：
[0036]图1为本专利技术实施例评估方法的流程框图；
[0037]图2为本专利技术实施例评估网络架构图；
[0038]图3为本专利技术实施例时空通道融合网络结构图；
[0039]图4为本专利技术实施例评估系统的系统框图。
具体实施方式
[0040]以下由特定的具体实施例说明本专利技术的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本专利技术的其他优点及功效。
[0041]请参阅图1至图3。本专利技术提供一种技术方案：一种轻小型无人机视频人群密度评估方法，包括：
[0042]S102、融合视频时空信息，并进行人群密度回归深度网络结构的构建；
[0043]S104、对视频数据关键帧进行离线训练，得到人群密度热点图的神经网络参数模
型；
[0044]S106、对视频数据所有帧通过神经网络参数模型进行在线推理，统计各帧人群密度热点图中的像素点个数作为评估人数量。
[0045]通过上述步骤，可以看出，在进行无人机视频人群密度评估过程中，通过融合视频时空信息，即提取视频多帧时域信息的时域网络分支、提取单帧图像信息的空间网络分支以及时空特征通道融合分支结构，进行人群密度回归深度网络结构的搭建，并对视频数据中的关键帧进行离线训练，即可以通过对图像中的人头部中心位置进行标记，记录头部中心点位置，生成相应的人群密度热点图训练真值，并根据训练数据学习神经网络，构建神经网络模型，并将构建好的神经网络模型对视频所有帧进行在线推理，得到各帧人群密度热点图中基于像素点个数的评估人数量。
[0046]为了更好的实现对视频时空信息的融合，所述视频时空信息的融合，包括：
[0047]对视频连续多帧图像中通过三维卷积网络提取出时域运动信息的分支网络结构；
[0048]对当前帧图像通过二维卷积网络提取出图像空间信息的分支网络结构；
[0049]将上述两种所述分支网络结构通过时空特征通道融合网络结构；在进行时空特征融合网络结构时，其计算公式为：Y＝ασ(TT
T
)F+σ(SS
T
)S；
[0050]其中，Y∈R
(hw)
×
c
为融合后大小为h
×
w
×
c特征图矩阵reshape得到。类似地，由时域分支网络提取特征图矩阵为T∈R
(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种轻小型无人机视频人群密度评估方法，其特征在于，包括：融合视频时空信息，并进行人群密度回归深度网络结构的构建；对视频数据关键帧进行离线训练，得到人群密度热点图的神经网络参数模型；对视频数据所有帧通过神经网络参数模型进行在线推理，统计各帧人群密度热点图中的像素点个数作为评估人数量。2.根据权利要求1所述的一种轻小型无人机视频人群密度评估方法，其特征在于，所述视频时空信息的融合，包括：对视频连续多帧图像中通过三维卷积网络提取出时域运动信息的分支网络结构；对当前帧图像通过二维卷积网络提取出图像空间信息的分支网络结构；将上述两种所述分支网络结构通过时空特征通道融合网络结构。3.根据权利要求1所述的一种轻小型无人机视频人群密度评估方法，其特征在于，所述对视频数据关键帧的离线训练，包括：抽取视频数据中的关键帧进行人工标注，其中，所述人工标注用于记录图像中人头部中心位置；根据人工标注的头部中心位置点，生成人群密度热点图作为训练真值；将标记好的训练真值数据进行网络端对端的训练，学习...

【专利技术属性】
技术研发人员：林思源，帅博，张建森，张江林，肖建平，张明大，高明涛，邓凯翔，傅蓉，
申请(专利权)人：鉴真防务技术上海有限公司，
类型：发明
国别省市：