一种针对密集人群场景多层次行为识别的方法技术

本发明专利技术公开了一种针对密集人群场景多层次行为识别的方法，步骤s1，通过卷积神经网络提取场景中对应的特征向量；步骤s2，根据场景中对应的特征向量构建初始基础图神经网络；步骤s3，基础图神经网络特征向量计算获得图像相似度矩阵E；步骤s4，所述基础图神经网络计算行人两两之间的空间距离矩阵D；步骤s5，基础图神经网络根据相似度矩阵E和空间距离矩阵D获得关系矩阵R；步骤s6，基础神经网络采用关系矩阵R更新场景中特征向量；步骤s7，分层图网络对更新特征向量进行两次聚合获得行人特征n

【技术实现步骤摘要】
一种针对密集人群场景多层次行为识别的方法

：
[0001]本专利技术属于人工智能、计算机视觉领域，设计行为识别
，尤其涉及一种针对密集人群场景多层次行为识别的方法。

技术介绍
：
[0002]针对监控场景下密集人群的行为识别氛围几个层次，具体为识别单个行人的动作类别、识别行人之间的聚集分组情况、识别聚集分组的动作类别以及识别场景的整体动作类别。以往的方法通常对上述四个任务进行分别求解。本专利技术旨在使用一个统一的结构同时对上述四个任务进行求解。
[0003]本专利技术涉及到的
技术介绍
有：
[0004](1)特征提取网络[1]：目标的外观特征作为一种非常有效的特征，已经广泛的应用在行为识别任务中。目前常用的外观特征通常包括人工特征和深度学习网络提取的特征。但人工特征常常具有局限性，本专利技术采用一个端到端的深度学习网络来进行目标框的特征提取。通过输入大量训练数据集，提高模型的特征提取能力。
[0005](2)图神经网络[2]：图神经网络对多个实例的特征信息进行建图，以实例特征作为图的节点，以实例之间的关系作为图的边，通过特定方式对图中的节点特征进行更新优化。本专利技术使用一种综合了空间距离信息的基础图神经网络对行人的视觉特征进行更新优化，并使用一种分层图神经网络结构对视觉特征信息进行分层聚合，优化了网络的信息提取能力。
[0006](3)动作分析[3]：现有的动作分析问题包括单体行为识别、群体行为识别、社交群体检测等。上述方法通常各自为战，一种方法往往专注于解决某一种特定的动作分析问题。本专利技术使用一种统一的架构同时解决多种动作分析问题，大大提高了计算效率。
[0007](4)空间距离度量方法：利用二维图片中的信息度量实际三位场景中人和人之间的空间距离，是判断行人分组聚集情况的重要依据。现有方法通常使用检测框中心点之间的欧氏距离来表征这一距离，但这一计算方法对于大景深、宽视场场景并不适用。本专利技术使用一种面积归一化的空间距离度量方法，显著提高了空间距离度量的准确度，进而大大提高了社交群体检测的准确率。

技术实现思路
：
[0008]针对现有技术存在的问题，本专利技术提供一种对密集人群场景进行多层次行为识别的方法，该方法能够同时识别密集人群场景中行人的单体动作类别、行人聚集分组情况、行人分组的动作类别以及场景整体的动作类别。该方法利用统一的网络架构实现了对场景中多层次动作信息的一次性识别，大幅度减少了重复计算，提高了行为识别效率，并且获得了很好的识别精度。本专利技术利用计算机视觉方法对密集人群场景中行人的动作类别和聚集情况进行分析，在许多应用中起着重要的作用。本专利技术解决了传统的行为识别任务往往关注单一行人的动作识别，或少数行人的交互行为，或者群体行人的集体行为。然而，现有的行
为识别任务往往仅单独关注上述一种任务，无法同时实现上述多种任务。本专利技术提出了多人场景多层次行为识别新任务，利用一种统一的端到端网络对密集人群场景进行全场景多层次的行为识别，即同时识别场景中行人的单体动作类别、行人社交分组情况、行人分组社交行为类别以及场景整体的活动类别。
[0009]为了解决现有技术，本专利技术采用如下技术方案：
[0010]1、一种针对密集人群场景进行多层次行为识别的方法，所述方法基于卷积神经网络、基础图神经网络、分层图神经网络和多层感知机网络；包括如下步骤：
[0011]步骤s1，通过卷积神经网络提取场景中行人目标检测框对应的特征向量b1,b2,...,b
n
；
[0012]步骤s2，根据场景中对应的特征向量构建初始基础图神经网络；
[0013]步骤s3，所述基础图神经网络特征向量两两之间计算相似度计算获得目标相似度矩阵E；
[0014]步骤s4，所述基础图神经网络采用面积归一化的空间距离度量方法计算行人两两之间的空间距离矩阵D；
[0015]步骤s5，所述基础图神经网络根据相似度矩阵E和空间距离矩阵D获得关系矩阵R；
[0016]步骤s6，所述基础神经网络采用关系矩阵R更新场景中特征向量；
[0017]步骤s7，所述分层图网络对更新特征向量进行两次聚合获得行人特征n
I
、分组特征n
P
、全局特征n
G
；
[0018]步骤s8、所述多层感知机网络按照如下公式获得动作类别预测结果：
[0019][0020][0021]a
G
＝F
g
(n
G
)
[0022]其中：a
I
为单体行为识别结果，a
P
为分组的行为识别结果，a
G
为场景整体行为识别结果。进一步，所述基础图神经网络特征向量两两之间计算相似度，从而获得图像相似度矩阵E，过程如下：
[0023]对场景中的行人进行建图G＝(N,E)；其中N表示途中的节点信息，E表示图中的边信息；即节点相似度矩阵。
[0024]图的节点N初始化为步骤(1)中提取的深度特征，对于节点u和v,其对应的图的边信息的计算公式为：
[0025]e
u,v
＝F1(f
u
)F2(f
v
)
T
,u,v∈N
[0026]其中F1、F2为多层感知机网络结构，f
u
、f
v
分别代表节点u和节点v对应的特征。边信息 e
u,v
则表示节点u和v的相似度。通过计算任意两节点的相似度，可以得到整个图的相似度矩阵E。
[0027]进一步，所述基础神经网络采用关系矩阵R更新场景中特征向量过程：
[0028]根据初始化的图网络与计算得到的相似度矩阵，对图网络的节点信息进行更新，具体步骤如下：
[0029]利用下述公式更新图节点信息：
[0030][0031]其中F
n
为一个由全连接层构成的节点更新网络，f
u
，f'
u
分别为更新前后的节点特征，节点 v表示与节点u有连接的节点，e
u,v
在上述步骤计算得到；
[0032]对更新前后的节点特征进行聚合，具体公式为：
[0033][0034]可以得到为最终的行人特征，下标u表示该特征对应的行人编号为u，运算符表示特征向量中元素的按位对应相加。
[0035]进一步，所述基础图神经网络采用面积归一化的空间距离度量方法计算行人两两之间的空间距离矩阵D；
[0036]利用面积归一化的空间距离度量方法计算行人之间的初始空间距离，公式如下：
[0037][0038]其中：x
u
，x
v
为检测框下边沿中点的横坐标，y
u
，y
v
为检测框下边沿中点的纵坐标；S
u
、S
v
为检测框的面积；
[0039]利用如下公式计算空间距离蒙版本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对密集人群场景多层次行为识别的方法，所述方法基于卷积神经网络、基础图神经网络、分层图神经网络和多层感知机网络；其特征在于；包括如下步骤：步骤s1，通过卷积神经网络提取场景中行人目标检测框对应的特征向量b1,b2,...,b
n
；步骤s2，根据场景中对应的特征向量构建初始基础图神经网络；步骤s3，所述基础图神经网络特征向量两两之间计算相似度计算获得目标相似度矩阵E；步骤s4，所述基础图神经网络采用面积归一化的空间距离度量方法计算行人两两之间的空间距离矩阵D；步骤s5，所述基础图神经网络根据相似度矩阵E和空间距离矩阵D获得关系矩阵R；步骤s6，所述基础神经网络采用关系矩阵R更新场景中特征向量；步骤s7，所述分层图网络对更新特征向量进行两次聚合获得行人特征n
I
、分组特征n
P
、全局特征n
G
；步骤s8、所述多层感知机网络按照如下公式获得动作类别预测结果：所述多层感知机网络按照如下公式获得动作类别预测结果：a
G
＝F
g
(n
G
)其中：a
I
为单体行为识别结果，a
P
为分组的行为识别结果，a
G
为场景整体行为识别结果。2.根据权利要求1所述的一种针对密集人群场景多层次行为识别的方法，其特征在于：所述基础图神经网络特征向量两两之间计算相似度，从而获得图像相似度矩阵E，过程如下：对场景中的行人进行建图G＝(N,E)；其中N表示途中的节点信息，E表示图中的边信息；即节点相似度矩阵。图的节点N初始化为步骤(1)中提取的深度特征，对于节点u和v,其对应的图的边信息的计算公式为：e
u,v
＝F1(f
u
)F2(f
v
)
T
,u,v∈N其中F1、F2为多层感知机网络结构，f
u
、f
v
分别代表节点u和节点v对应的特征。边信息e
u,v
则表示节点u和v的相似度。通过计算任意两节点的相似度，可以得到整个图的相似度矩阵E。3.根据权利要求2所述的一种针对密集人群场景多层次行为识别的方法，其特征在于：所述基础神经网络采用关系矩阵R更新场景中特征向量过程：根据初始化的图网络与计算得到的相似度矩阵，对图网络的节点信息进行更新，具体步骤如下：利用下述公式更新图节点信息：其中F
n
为一个由全连...

【专利技术属性】
技术研发人员：冯伟，韩瑞泽，颜昊旻，王立凯，王松，
申请(专利权)人：天津大学，
类型：发明
国别省市：