本发明专利技术公开了一种基于路侧感知的多模态人群计数方法及装置，所述方法包括以下步骤：在路口布置视场角和焦距相同的红外热成像仪和可见光摄像头实时拍摄人群；对红外和可见光源图像进行预处理，再采用基于双鉴别器的生成对抗方法对红外图像和可见光图像进行融合，在上层融合图像的基础上抽取特征进行应用，使用基于空洞卷积神经网络的人群计数方法，将融合图像生成一张人群密度图，并在生成的密度图上使用积分得到最终的人群计数结果。本发明专利技术解决了在光照条件不良、对比度较弱、目标多尺度变化和物体遮挡等情况下，基于可见光图像的人群计数效果较差的问题，并最终达到路侧场景下全天候、多时段、高精度的人群计数效果。高精度的人群计数效果。高精度的人群计数效果。
【技术实现步骤摘要】
一种基于路侧感知的多模态人群计数方法及装置
[0001]本专利技术属于人群计数
，具体涉及一种基于路侧感知的多模态人群计数方法及装置。
技术介绍
[0002]随着人口数量的不断增长加上有限的道路资源，交通拥堵问题就一直成了社会关注的重点问题，过分拥堵的交通会导致城市运行效率下降甚至追尾等车祸的发生。在现代拥挤繁忙的交通中，及时掌握各个道路路口人群数量密度对于智能网联汽车、智慧交通调度的发展来说也至关重要。因此人群计数成为近年来研究的热门课题。现如今路侧场景下的人群计数主要存在的问题可以概括为以下几点：
①
大多依赖人工粗略估计：通过安防监控粗略估计人数，凭借主观感受对当前场景中的人群密度等级做出划分并采取相应的应对措施。但是这种方法往往效率低下，而且人的主观感受往往不够精准和及时，在面对密集场景的情况下常常会出现误判的情况。
②
复杂环境下计数效果较差：在夜晚环境中，由于光照、雨、雾等变化的影响，可见光图像的成像效果较差，因而也会影响当前的人群计数方法的准确率。
[0003]基于以上路侧场景下人群计数的情况，使用何种人群计数方法能使计数准确性和鲁棒性提高是一个亟需解决的问题。由于红外图像对具有热特性的目标和区域敏感，抗干扰能力较强，而可见光图像具有更加丰富的纹理细节，更符合人眼的视觉感受。红外与可见光融合就是将红外图像和可见光图像通过图像融合等方法将两者有机结合起来，获取更加丰富的图像信息。与此同时，随着深度学习的发展，以及计算机软硬件设备的改进提升，卷积神经网络得到快速的提升，并不断与各个领域相结合，取得大量的研究成果，进而推动了卷积神经网络的进一步发展。因而，基于路侧感知的红外和可见光图像融合人群计数方法可以替代传统的人工方法对路侧视频中的人群进行实时计数，且具有全天候、多时段、精度高、抗干扰能力强等优点。
[0004]现有的技术将人群计数网络分成三个阶段，包括前端网络、中端网络和后端网络；前端网络提取两个模态的基础特征，在中层网络将两种模态的基础特征与共享模态进行聚合，后端网络接收中端网络输出的信息，生成密度图。对原始数据的处理只是简单的特征提取与聚合，特征抽取程度较高、原始数据利用率不高，没有针对性地提取红外图像中显著的目标信息和可见光图像中丰富的纹理细节，很难保证充分融合红外头像与可见光图像的特征，给最终的人群计数的准确性和鲁棒性的提升带来难题。
技术实现思路
[0005]为了解决现有技术存在的上述技术问题，本专利技术提供一种基于路侧感知的多模态人群计数方法。本专利技术对红外和可见光源图像进行预处理，再采用基于双鉴别器的生成对抗方法对红外图像和可见光图像进行融合，在上层融合图像的基础上抽取特征进行应用，使用基于空洞卷积神经网络的人群计数方法，将融合图像生成一张人群密度图，并在生成
的密度图上使用积分得到最终的人群计数结果，提高了人群计数结果的准确率。
[0006]本专利技术解决上述技术问题的技术方案是：一种基于路侧感知的多模态人群计数方法，包括以下步骤：
[0007]步骤1，在路口布置视场角和焦距相同的红外热成像仪和可见光摄像头实时拍摄人群；
[0008]步骤2，将红外热成像仪图像和可见光图像做图像配准，通过计算投影变换与剪裁得到最终对齐的图像对；
[0009]步骤3，从常见公开双模目标检测数据集的训练集中挑出包含人类别的图片，用基于几何自适应的密度图生成方法，利用人头与其周围人头的平均距离作为高斯核大小的参考标准，生成红外与可见光融合图片的真实人群密度图作为数据集；
[0010]步骤4，将上述制作好的双模图像输入基于双鉴别器生成对抗网络的红外与可见光融合网络中生成融合图像；
[0011]步骤5，利用融合图像与真实人群密度图训练人群计数网络得到计数能力良好的权值文件；
[0012]步骤6，读取路侧红外热成像仪图像和可见光摄像头图像，并依次输入基于双鉴别器生成对抗网络的红外与可见光图像融合网络和人群计数网络中，得到预测的人群密度图，对生成的人群密度图积分得到最终图片中的人群数目信息。
[0013]进一步的，所述步骤3中几何自适应高斯核的定义如下：
[0014][0015]对于每个目标x
i
的地面真相δ，使用去预测k个最近目标的平均距离，使用标准差为σ
i
的高斯核与δ(x
‑
x
i
)做卷积，其中x是图像中像素的位置。
[0016]进一步的，所述步骤4中双鉴别器生成对抗网络包括一个生成器、两个鉴别器，所述的生成器将可见光和红外图像进行合并串联，使用5个卷积模块对红外图像和可见光图像进行特征提取，其中，前四个卷积模块卷积核数量为64，最后一步卷积核数量为1，5个卷积模块的步长均为1。
[0017]进一步的，所述生成器的损失函数为：
[0018]L
G
＝L
adv
(G)+λL
con
[0019]其中L为生成器总损失，L
adv
(G)为对抗损失，L
con
为内容损失，λ为系数，L
con
内容损失为：
[0020][0021]式中H和W分别为图像的高和宽，F表示Frobeniu范数，I
i
、I
v
、I
f
分别为红外图像、可见光图像和生成的融合图像，表示梯度算子，这两项分别用于保存红外图像的强度信息和可见光图像的梯度信息；
[0022]L
adv
(G)对抗损失为：
[0023][0024]式中g代表生成的数据，p代表数据分布，N代表鉴别器的数量，此处取2。
[0025]进一步的，所述步骤4中双鉴别器为目标鉴别器、纹理鉴别器，目标鉴别器用于融合图像的前景目标和红外图像中的目标区分开来，纹理鉴别器用于将融合图像的背景纹理细节与可见光图像的背景细节区分开来，鉴别器的网络结构共包含4个卷积模块，每个卷积模块均包含一个卷积层和一个激活函数，前四层都是3
×
3的卷积核，步长设置为2，卷积核数量分别为32、64、128和256，最后一层为全连接层，用于分类；
[0026]进一步的，双鉴别器的损失函数为:
[0027][0028][0028]为红外图像和融合图像的目标判别损失，为可见光图像和融合图像的细节纹理判别损失。p、p
i
、p
v
分别为生成的融合图像、红外图像和可见光图像的数据分布，g、i和v分别为生成的融合图像、红外图像和可见光图像,k1、k2为系数。
[0029]进一步的，所述步骤6中得到的人群密度图使用欧几里得距离来衡量地面真相和预测图的损失，损失函数为：
[0030][0031]其中N是每个批次训练的样本数，Z(X
i
；Θ)是模型的输出，X
i
代表输入图片，Z
iGT
代表输入图片的地面本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于路侧感知的多模态人群计数方法，其特征在于，包括以下步骤：步骤1，在路口布置视场角和焦距相同的红外热成像仪和可见光摄像头实时拍摄人群；步骤2，将红外热成像仪图像和可见光图像做图像配准，通过计算投影变换与剪裁得到最终对齐的图像对；步骤3，从常见公开双模目标检测数据集的训练集中挑出包含人类别的图片，用基于几何自适应的密度图生成方法，利用人头与其周围人头的平均距离作为高斯核大小的参考标准，生成红外与可见光融合图片的真实人群密度图作为数据集；步骤4，将上述制作好的双模图像输入基于双鉴别器生成对抗网络的红外与可见光融合网络中生成融合图像；步骤5，利用融合图像与真实人群密度图训练人群计数网络得到计数能力良好的权值文件；步骤6，读取路侧红外热成像仪图像和可见光摄像头图像，并依次输入基于双鉴别器生成对抗网络的红外与可见光图像融合网络和人群计数网络中，得到预测的人群密度图，对生成的人群密度图积分得到最终图片中的人群数目信息。2.根据权利要求1所述的基于路侧感知的多模态人群计数方法，其特征在于，所述步骤3中几何自适应高斯核的定义如下：对于每个目标x
i
的地面真相δ，使用去预测k个最近目标的平均距离，使用标准差为σ
i
的高斯核与δ(x
‑
x
i
)做卷积，其中x是图像中像素的位置。3.根据权利要求1所述的基于路侧感知的多模态人群计数方法，其特征在于，所述步骤4中双鉴别器生成对抗网络包括一个生成器、两个鉴别器，所述的生成器将可见光和红外图像进行合并串联，使用5个卷积模块对红外图像和可见光图像进行特征提取，其中，前四个卷积模块卷积核数量为64，最后一步卷积核数量为1，5个卷积模块的步长均为1。4.根据权利要求3所述的基于路侧感知的多模态人群计数方法，其特征在于，所述生成器的损失函数为：L
G
＝L
adv
(G)+λL
con
其中L为生成器总损失，L
adv
(G)为对抗损失，L
con
为内容损失，λ为系数，L
con
内容损失为：式中H和W分别为图像的高和宽，F表示Frobeniu范数，I
i
、I
v
、I
f
分别为红外图像、可见...
【专利技术属性】
技术研发人员：王晓伟，陶涛，秦兆博，秦晓辉，谢国涛，徐彪，边有钢，秦洪懋，胡满江，丁荣军，
申请(专利权)人：湖南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。