人群行为检测方法及装置、电子设备和存储介质制造方法及图纸

本申请提出一种人群行为检测方法及装置、电子设备和存储介质。其中，上述方法可以包括，对包含多个对象的目标图像序列中出现的至少一个对象进行对象跟踪，确定每一对象在上述目标图像序列中的位置变化信息。基于上述目标图像序列中获得的上述位置变化信息进行图卷积处理，并基于上述图卷积获得的提取特征确定上述目标图像序列中的多个上述对象对应的人群行为。行为。行为。

【技术实现步骤摘要】
人群行为检测方法及装置、电子设备和存储介质


[0001]本申请涉及计算机技术，具体涉及一种人群行为检测方法及装置、电子设备和存储介质。

技术介绍

[0002]随着城镇化的推进，人群越来越集中，因此识别人群中是否发生异常行为或者发生了什么异常行为对于行人安全十分重要。如果可以准确识别人群异常行为，并对异常行为做出制止防范，即可减小危险事件发生概率。
[0003]例如，在安防场景下，通过图像采集设备(例如监控设备)可以采集包含行人的目标图像序列(视频序列)。若确定该目标图像序列中正在发生的行人行为属于诸如行人聚集、行人滞留等异常行为，即可马上安排进行人群疏导，避免出现诸如踩踏或群体恶性事件。
[0004]可见，亟需提出一种检测目标图像序列中人群行为的方法。

技术实现思路

[0005]有鉴于此，本申请至少公开一种人群行为检测方法，上述方法包括：
[0006]对包含多个对象的目标图像序列中出现的至少一个对象进行对象跟踪，确定每一对象在上述目标图像序列中的位置变化信息；
[0007]基于上述目标图像序列中获得的上述位置变化信息进行图卷积处理，并基于上述图卷积获得的提取特征确定上述目标图像序列中的多个上述对象对应的人群行为。
[0008]在示出的一些实施例中，上述对包含多个对象的目标图像序列中出现的至少一个对象进行对象跟踪，确定每一对象在上述目标图像序列中的位置变化信息，包括：
[0009]对上述目标图像序列包括的每一图像分别进行图像处理，确定上述每一对象分别在各图像中的位置信息；
[0010]对上述每一对象进行对象跟踪，以基于跟踪结果以及上述位置信息，确定上述每一对象在上述目标图像序列中的位置变化信息。
[0011]在示出的一些实施例中，上述对上述每一对象进行对象跟踪，以基于跟踪结果以及上述位置信息，确定上述每一对象在上述目标图像序列中的位置变化信息，包括：
[0012]利用卡尔曼滤波算法或者对象检测模型，对上述每一对象进行对象跟踪；
[0013]基于跟踪到的同一对象在各图像中的位置信息，确定上述每一对象的位置变化信息。
[0014]在示出的一些实施例中，上述基于上述目标图像序列中获得的上述位置变化信息进行图卷积处理，得到上述目标图像序列中的多个上述对象对应的人群行为，包括：
[0015]基于上述位置变化信息表征的上述目标图像序列包括的各图像中的对象位置信息以及上述各图像中对象之间的拓扑关系，对上述各图像分别进行空间图卷积处理，得到各图像分别对应的图特征；
[0016]对上述各图像分别对应的图特征进行时域卷积处理，并基于上述时域卷积处理得到的提取特征确定上述目标图像序列中的多个上述对象对应的人群行为；其中，上述人群行为至少包括以下中的至少一个：行人聚集；行人分散；行人滞留；行人逆流。
[0017]在示出的一些实施例中，上述基于上述位置变化信息表征的上述目标图像序列包括的各图像中的对象位置信息以及上述各图像中对象之间的拓扑关系，对上述各图像分别进行空间图卷积处理，得到各图像分别对应的图特征，包括：
[0018]基于上述各图像中对象之间的拓扑关系，确定上述各图像分别对应的邻接矩阵；
[0019]基于上述对象位置信息，确定上述各图像分别对应的特征矩阵；
[0020]基于上述邻接矩阵与上述特征矩阵完成上述空间图卷积处理，得到上述每一图像分别对应的图特征。
[0021]在示出的一些实施例中，上述基于上述目标图像序列中获得的上述位置变化信息进行图卷积处理，得到与上述目标图像序列对应的提取特征的步骤之前，还包括：
[0022]确定上述目标图像序列包括的各图像包含的任意两个对象之间的连接关系；
[0023]基于上述各图像包含的对象，以及确定的上述连接关系，分别确定上述各图像中对象之间的拓扑关系。
[0024]在示出的一些实施例中，上述确定上述目标图像序列包括的各图像包含的任意两个对象之间的连接关系，包括：
[0025]提取上述各图像包含的各对象对应的区域特征；上述区域特征表征各对象对应的背景特征；
[0026]基于各对象对应的区域特征，确定各对象中任意两个对象之间的相似度；
[0027]将未达到第一预设阈值的相似度对应的两个对象确定为具有连接关系的两个对象。
[0028]在示出的一些实施例中，上述确定上述目标图像序列包括的各图像包含的任意两个对象之间的连接关系，包括：
[0029]对上述各图像分别进行图像处理，确定上述对象在各图像中的位置信息；
[0030]基于各对象对应的位置信息，确定各对象中任意两个对象之间的距离；
[0031]基于上述距离确定各图像包含的任意两个对象之间的连接关系。
[0032]在示出的一些实施例中，上述基于上述距离确定各图像包含的任意两个对象之间的连接关系，包括：
[0033]将确定的任意两个对象之间的距离映射于由第三预设阈值与第四预设阈值形成的区间内；
[0034]将映射后的任意两个对象之间的距离确定为上述任意两个对象之间的连接权重；
[0035]通过上述任意两个对象之间的连接权重指示上述任意两个对象之间的连接关系。
[0036]在示出的一些实施例中，通过图卷积分类模型实现上述图卷积处理；
[0037]其中，上述图卷积分类模型的训练方法包括：
[0038]生成训练样本，其中，上述训练样本具有包含多个对象的位置变化信息，以及具有基于上述多个对象的位置变化信息的人群行为的标注信息；
[0039]基于上述位置变化信息和上述人群行为的标注信息对预设的图卷积模型进行训练，得到上述图卷积分类模型。
[0040]在示出的一些实施例中，上述生成训练样本，包括：
[0041]基于运动仿真平台，设置多个对象对应的运动模式；
[0042]基于上述运动模式，确定各对象对应的位置变化信息；
[0043]确定上述各对象对应的位置变化信息表征的人群行为；
[0044]基于上述位置变化信息，以及上述位置变化信息表征的人群行为，生成上述训练样本。
[0045]本申请还公开一种人群行为检测装置，上述装置包括：
[0046]位置变化信息确定模块，基于对包含多个对象的目标图像序列中出现的至少一个对象的对象跟踪结果，确定每一对象在上述目标图像序列中的位置变化信息；
[0047]人群行为检测模块，用于基于上述目标图像序列中获得的上述位置变化信息进行图卷积处理，并基于上述图卷积获得的提取特征确定上述目标图像序列中的多个上述对象对应的人群行为。
[0048]本申请还公开一种电子设备，上述设备包括：
[0049]处理器；
[0050]用于存储上述处理器可执行指令的存储器；
[0051]其中，上述处理器被配置为调用上述存储器中存储的可执行指令，实现前述人群行为检测方法。
[0052]本申请还公开一种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人群行为检测方法，其特征在于，所述方法包括：对包含多个对象的目标图像序列中出现的至少一个对象进行对象跟踪，确定每一对象在所述目标图像序列中的位置变化信息；基于所述目标图像序列中获得的所述位置变化信息进行图卷积处理，并基于所述图卷积获得的提取特征确定所述目标图像序列中的多个所述对象对应的人群行为。2.根据权利要求1所述的方法，其特征在于，所述对包含多个对象的目标图像序列中出现的至少一个对象进行对象跟踪，确定每一对象在所述目标图像序列中的位置变化信息，包括：对所述目标图像序列包括的每一图像分别进行图像处理，确定所述每一对象分别在各图像中的位置信息；对所述每一对象进行对象跟踪，以基于跟踪结果以及所述位置信息，确定所述每一对象在所述目标图像序列中的位置变化信息。3.根据权利要求2所述的方法，其特征在于，所述对所述每一对象进行对象跟踪，以基于跟踪结果以及所述位置信息，确定所述每一对象在所述目标图像序列中的位置变化信息，包括：利用卡尔曼滤波算法或者对象检测模型，对所述每一对象进行对象跟踪；基于跟踪到的同一对象在各图像中的位置信息，确定所述每一对象的位置变化信息。4.根据权利要求1
‑
3任一所述的方法，其特征在于，所述基于所述目标图像序列中获得的所述位置变化信息进行图卷积处理，得到所述目标图像序列中的多个所述对象对应的人群行为，包括：基于所述位置变化信息表征的所述目标图像序列包括的各图像中的对象位置信息以及所述各图像中对象之间的拓扑关系，对所述各图像分别进行空间图卷积处理，得到各图像分别对应的图特征；对所述各图像分别对应的图特征进行时域卷积处理，并基于所述时域卷积处理得到的提取特征确定所述目标图像序列中的多个所述对象对应的人群行为；其中，所述人群行为至少包括以下中的至少一个：行人聚集；行人分散；行人滞留；行人逆流。5.根据权利要求4所述的方法，其特征在于，所述基于所述位置变化信息表征的所述目标图像序列包括的各图像中的对象位置信息以及所述各图像中对象之间的拓扑关系，对所述各图像分别进行空间图卷积处理，得到各图像分别对应的图特征，包括：基于所述各图像中对象之间的拓扑关系，确定所述各图像分别对应的邻接矩阵；基于所述对象位置信息，确定所述各图像分别对应的特征矩阵；基于所述邻接矩阵与所述特征矩阵完成所述空间图卷积处理，得到所述每一图像分别对应的图特征。6.根据权利要求1
‑
5任一所述的方法，其特征在于，所述基于所述目标图像序列中获得的所述位置变化信息进行图卷积处理，得到与所述目标图像序列对应的提取特征的步骤之前，还包括：确定所述目标图像序列包括的各图像包含的任意两个对象之间的连接关系；基于所述各图像包含的对象，以及确定的所述连接关系，分别确定所述各图像中对象之间的拓扑关系。
7.根据权利要求6...

【专利技术属性】
技术研发人员：韩志伟，刘诗男，杨昆霖，侯军，伊帅，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：