一种基于特征聚合网络的人群区域监控方法技术

本发明专利技术公开了一种基于特征聚合网络的人群区域监控方法，首先对人群分布不均匀的图像进行标签化处理生成人群区域信息的yaml文件，使用Mobile

【技术实现步骤摘要】
一种基于特征聚合网络的人群区域监控方法


[0001]本专利技术涉及机器学习
，主要涉及一种基于特征聚合网络的人群区域监控方法。

技术介绍

[0002]视频中的语义分割和区域定位计算机视觉领域中的一个重要研究课题，具有重要的理论意义与实际应用价值。
[0003]近年来，随着城市安全问题的日渐突出，监控定位人群显得尤其的重要。人群区域定位是一项基于计算机视觉技术、机器学习，可以对监控范围内的人群进行监视、可以自主定位监控范围内的人群的现代化监控技术。随着深度学习的发展，越来越多的人群定位方法融入语义分割技术。语义分割技术是利用神经网络将图片中的每一个像素点进行分类，从而得到目标位于图中的位置和标签信息。
[0004]语义分割技术可以感知路面，行人，街道，建筑物等。但是目前的语义分割技术分割速度较慢，大多数研究者都只重视分割的准确度，这导致语义分割技术难以运用到其他应用邻域例如人群定位邻域中，对于这个问题，采用更加轻量级的Unet算法，将语义分割技术运用到人群定位中。

技术实现思路

[0005]专利技术目的：本专利技术提供了一种基于特征聚合网络的人群区域监控方法，采集视频中人群区域信息与图像信息，将场景信息与人群信息进行提取并进行二者信息的融合，并使用神经网络算法提高对人群区域识别的准确度。
[0006]技术方案：为实现上述目的，本专利技术采用的技术方案为：
[0007]一种基于特征聚合网络的人群区域监控方法，包括以下步骤：
[0008]步骤S1、对输入的人群分布不均匀的图像进行标签化处理，获取特征标签图像，生成包括人群区域信息的yaml文件；设置过滤阈值，对特征区域进行过滤如下：
[0009]当输入图像中某一块特征区域的像素点数量小于时，过滤掉所述特征区域；其中S
i
为第i块标签图像的像素点个数，N为当前特征标签图像的总的标签个数，e为自然常数；
[0010]步骤S2、将所述特征标签图像输入至MobileNet网络中，使用Unet网络进行网络的训练并提取特征；在池化操作时对网络提取的特征图像做无监督的K
‑
means操作，并向对等层的特征还原网络做特征向量的复制和剪切的，实现特征向量的提取；具体地，
[0011]步骤S2.1、特征提取模块获取规格为n*m的特征标签图像信息，通过对视频场景进行预处理与场景识别来描述场景底层特征；
[0012]步骤S2.2、将特征标签图像输入至MobileNet网络模型中；对于每次可分离卷积，首先将1个k*k的卷积核遍历I通道的数据，获取I通道的特征图谱；接着采用0个1x1大小的
卷积核遍历这I个特征图谱，网络所需要的特征参数量为K2I+IO，其中K表示卷积核的大小，I表示输入特征图谱，0表示1x1大小的卷积核；
[0013]步骤S2.3、采用Unet网络模型对特征标签图像进行特征提取；损失函数如下：
[0014][0015]其中ω(x)表示标签为x的权值，log(p(x))表示x标签出现概率的自然对数；
[0016]对于每一块像素区域添加该区域的权重值如下：
[0017][0018]其中w
c
(x)为类别频率的权重，d1，d2依次为像素点距离各个聚类中心的距离中最近的、倒数第二近的距离；
[0019]步骤S2.4、通过聚类算法，对所述特征标签图像中每个像素增加权重值；对每个特征向量X
i
，找出最相邻的k个特征向量，并将X
i
改写成所述k个特征向量的线性表示；对于每一个样例k，计算所属标签类如下：
[0020][0021]其中u
j
表示每个类所在的中心，c
k
表示每个像素点到聚类中心的欧式距离；
[0022]步骤S2.5、采用迭代更新法重新计算每个标签类的聚类中心如下：
[0023][0024]其中u
j
为每个类的中心，表示属于第j类卷积上的像素点第i维度上的值，表示第j类到聚类中心的距离的总和；
[0025]更新每个标签类里面特征向量的值如下：
[0026][0027]其中x
k
为当前的特征值，d
k
为当前特征向量所属的标签类；
[0028]步骤S2.6、使用卷积核大小为2x2的下采样进行特征提取，最终得到输入图像的特征向量信息；
[0029]步骤S3、将步骤S2中获取的特征向量信息输入至UNet还原网络中，通过反卷积网络还原特征向量，获取特征图像；所述还原网络中使用向量融合技术融合上下层的特征向量；
[0030]步骤S4、将步骤S2获取的特征向量信息和步骤S3获取的特征图像输入至微智能服务器，进行联合识别；将连续时间段内的信息片段与数据库进行对比，进行模糊检索；将检
索结果反馈至智能后端处理系统；
[0031]步骤S5、智能后端处理系统根据用户的设置按照人群逗留时间进行分类，记录当前事件的危险程度，当事件到达警告级别时，智能后端处理系统立即通知用户危险信息，并且发出警告命令通知警告模块。
[0032]进一步地，所述步骤S3中获取特征图像步骤具体包括：
[0033]步骤S3.1、将浅层特征向量v1∈R
n
和深层特征向量v2∈R
m
在同一阶上进行向量拼接，拼接后的向量为v＝[v1，v2]∈R
n+m
；拼接完成后在相邻的特征层做线性变换v＝Wv∈R
x
，转换为与上采样同维度的特征向量，实现特征融合；
[0034]步骤S3.2、上采样中两个卷积使用同一个卷积核，每一个输出通道的卷积核相互独立；第一层卷积的输入通道为x1，x2...x
c
，第二层卷积的输入通道为y1，y2...y
c
，两层位于同一个上采样操作；单个输出的通道表示为其中Z为融合之后的特征向量，K为当前上采样网络的卷积核，c表示特征融合之后的特征向量维数。
[0035]进一步地，所述步骤S4中的模糊检索具体包括：
[0036]步骤S4.1、微智能服务器接收来自特征还原模块和特征提取模块的特征图像的信息，取k
m
t
m
为识别时间单位，在k
m
t
m
时间内，得到人群的位置信息其中A表示每个图像人群在危险区域的像素点，k
m
t
m
为在m帧图像中人群密度大于k
m
的时间；
[0037]步骤S4.2、以危险区域图像为标签，检索数据库中的子表，进行模糊匹配，当匹配成功时，则将行为识别结果返回给智能后端处理系统模块。
[0038]进一步地，所述步骤S5中智能后端处理系统处理步骤包括：
[0039]步骤S5.1、智能后端处理系统接受微智能服务器发送的HTTPS请求，并接收数据，判断人群区域到达危险区域的平均像素本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征聚合网络的人群区域监控方法，其特征在于，包括以下步骤：步骤S1、对输入的人群分布不均匀的图像进行标签化处理，获取特征标签图像，生成包括人群区域信息的yaml文件；设置过滤阈值，对特征区域进行过滤如下：当输入图像中某一块特征区域的像素点数量小于时，过滤掉所述特征区域；其中S
i
为第i块标签图像的像素点个数，N为当前特征标签图像的总的标签个数，e为自然常数；步骤S2、将所述特征标签图像输入至MobileNet网络中，使用Unet网络进行网络训练并提取特征；在池化操作时对网络提取的特征图像做无监督的K
‑
means操作，并向对等层的特征还原网络做特征向量的复制和剪切，实现特征向量的提取；具体地，步骤S2.1、特征提取模块获取规格为n*m的特征标签图像信息，通过对视频场景进行预处理与场景识别来描述场景底层特征；步骤S2.2、将特征标签图像输入至MobileNet网络模型中；对于每次可分离卷积，首先将I个k*k的卷积核遍历I通道的数据，获取I通道的特征图谱；接着采用O个1x1大小的卷积核遍历这I个特征图谱，网络所需要的特征参数量为K2I+IO，其中K表示卷积核的大小，I表示输入特征图谱，O表示1x1大小的卷积核；步骤S2.3、采用Unet网络模型对特征标签图像进行特征提取；损失函数如下：其中ω(x)表示标签为x的权值，log(p(x))表示x标签出现概率的自然对数；对于每一块像素区域添加该区域的权重值如下：其中w
c
(x)为类别频率的权重，d1，d2依次代表像素点距离各聚类中心的距离中最短的2个距离；步骤S2.4、通过聚类算法，对所述特征标签图像中每个像素增加权重值；对每个特征向量X
i
，找出最相邻的k个特征向量，并将X
i
改写成所述k个特征向量的线性表示；对于每一个样例k，计算所属标签类如下：其中u
j
表示每个类所在的中心，c
k
表示每个像素点到聚类中心的欧式距离；步骤S2.5、采用迭代更新法重新计算每个标签类的聚类中心如下：其中u
j
为每个类的中心，表示属于第j类卷积上的像素点第i维度上的值，
表示第j类的到聚类中心的距离总和；更新每个标签类里面特征向量的值如下：其中x
k
为当前的特征值，d
k
为当前特征向量所属的标签类；步骤S2.6、使用卷积核大小为2x2的下采样进行特征提取，最终得到输入图像的特征向量信息；步骤S3、将步骤S2中获取的特征向量信息输入至UNet还原...

【专利技术属性】
技术研发人员：朱明明，陈志，岳文静，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：