基于场景知识元的集群行为理解系统技术方案

本发明专利技术涉及计算机视觉、公共安全等领域，具体为一种基于场景知识元的集群行为理解系统。针对现有集群行为理解中场景定义狭隘，未考虑视频场景外的知识，本发明专利技术提出一种融合数据和知识的集群行为理解方法，通过视频数据的采集和特征挖掘、融合数据和知识的场景建模等过程实现基于场景知识元的集群行为理解，方案不仅考虑视频图像中的动态的人员信息，而且考虑视频图像中的静态的背景信息和视频图像外的知识信息。该发明专利技术可以更加全面真实的刻画集群行为发生的场景，提高集群行为识别的速度和精度。精度。精度。

【技术实现步骤摘要】
基于场景知识元的集群行为理解系统


[0001]本专利技术涉及计算机视觉、公共安全、行为分析、人工智能、智慧监控等领域，具体为一种基于场景知识元的集群行为理解系统。

技术介绍

[0002]集群作为一种有一定凝聚力的人群，其表现出来的行为既不是简单的人群聚集行为，也并非零散的个体行为的总和。集群行为是指在相对自发的、无组织的和不稳定的情况下，因为某种普遍的影响和鼓舞而发生的影响社会公共安全的集体行为。常见的集群行为有聚集、旋转、疏散等。政府大楼、交通路口、广场、商场、机场等人群流动较大、人群密度较高的地方极易发生集群行为。对集群行为预防不及时、识别不精准、处理不得当会带来较多的人员伤亡，引发较大的社会影响甚至社会动乱。
[0003]集群行为的理解意味着不仅要识别出是不是集群行为更意味着要研判出是不是异常的集群行为。传统的视频监控系统只能完成拍摄、储存以及回放，无法实现自动的预警功能，如果要求及时识别集群行为，研判出异常现象，则需要人工完成对视频图像的实时监控，疲劳感的叠加会提高误判与漏判的概率。使用数字图像处理、计算机视觉、机器学习等相关技术对集群行为进行自动处理，就是将智能元素融入视频图像处理系统，实现机器辅助人脑快速捕捉识别出集群行为。
[0004]目前，许多学者从监控视频角度分析集群行为或异常行为。一类学者基于个体对象的建模，分析集群行为。基于卷积神经网络来捕获个体的动态特征，使用完全连接的条件随机场来分析群体活动中人与人之间的互动，利于其势函数实现群体行为分类。群体活动识别取决于几个关键帧上的少数参与者，构造一个语义关系图表示人与人之间的关系，根据两个马尔可夫决策过程完善语义关系图，强化重要人物的动作特征，抑制无关人物动作特征。另一类学者基于整体建模，分析事件的整体特征，从系统角度分析人群行为。使用社会力量模型来检测和定位人群场景分析中异常行为的方法。基于势能和动能的检测，定义人群分布指数用于检测行人的聚集情况，然后通过光流和人群分布指数计算动能，基于阈值分析异常行为。
[0005]现有的行为识别技术主要针对简单场景下的某些个体动作，群体性事件的行为本身和实际发生场景都是复杂，有必要对集群行为进行场景建模，通过分析场景中信息，推理是否发生异常集群行为。现有的集群行为理解方法，本质上是视频图像理解，大多仅仅基于监控图像的分析，其场景定义是狭义的。现实中的场景不仅包含监控摄像头拍摄的视频数据，还有监控范围外的知识如警察的经验或政府出台的相关规则，这些监控外的知识对场景解析以及事件识别也至关重要。

技术实现思路

[0006]本专利技术为解决现有的集群行为理解方法，本质上是视频图像理解，大多仅仅基于监控图像的分析，其场景定义是狭义的，造成集群行为判断不准确的问题，提供一种基于场
景知识元的集群行为理解系统。
[0007]本专利技术是采用如下技术方案实现的：一种基于场景知识元的集群行为理解系统，系统依次包括信息采集与特征挖掘层、数据与知识融合建模层和场景再现与行为理解层；所述信息采集与特征挖掘层包括用于采集监控数据/视频图像的摄像头视频数据模块及用于采集监控外知识与规则信息的行为先验知识模块；还包括对监控数据/视频图像进行特征挖掘得到的视频特征数据集，以及对监控外知识与规则信息进行特征挖掘得到的行为特征知识集；所述数据与知识融合建模层包括通过算法由视频特征数据集抽取得到的行为特征数据集和背景特征数据集，以及通过算法由行为特征知识集抽取得到的行为备案库、管理人员知识以及研判规则；所述行为特征数据集和背景特征数据集共同构成数据元，所述行为备案库、管理人员知识以及研判规则共同构成知识元；通过将数据元和知识元融合构建信息元模型；场景再现与行为理解层中将信息元细分为人群信息元和背景信息元，人群信息元包括人群的数量变化及其行为变化；背景信息元包括视频内背景信息元和视频外背景信息元，视频内背景信息元和人群信息元是构建信息元模型时数据的来源，视频外背景信息元是构建信息元模型时知识的来源；通过上述分类表示,尽可能全面真实的再现集群现场，并结合先验知识和已有规则对视频采集到的集群行为进行综合分析，判断是否是异常的集群行为。
[0008]本专利技术所述理解系统中，信息采集与特征挖掘层是场景理解的基础，主要利用相关算法对摄像头采集的监控数据和人工采集的知识与规则进行特征挖掘。数据与知识融合建模层是场景理解的关键，通过融合数据与知识实现基于多源信息的集群场景信息元构建，为后续的集群行为的研判提供信息支撑。场景再现与行为理解层主要是基于场景信息元对场景要素进行表示，尽可能全面真实地再现集群现场，并结合先验知识和已有规则对集群行为进行综合分析，判断是否是异常的集群行为。
[0009]特征挖掘的主要目的是抽取出视频图像中的相关特征，即对上层的视频流通过技术手段分析，抽取人或物的相关属性，如：轮廓、轨迹、骨架、移动方向、速度等。在集群行为智能理解识别中，往往存在较为显著的人或物的图像特征，如人员奔跑，拉条幅等，这些特征为机器识别是否是集群行为，集群行为是否异常提供重要判断依据。此外，根据不同场景，梳理正常集群行为的相关属性，建立集群行为先验知识体系，明确正常集群行为与异常集群行为的特征差异。此过程的关键技术是图像识别算法，这类算法主要通过计算机技术处理、分析、理解图像信息。传统图像识别算法主要是利用纹理、形状等特征结合机器学习的分类算法进行识别。随着电子信息技术的快速发展，计算能力的大幅度提升，基于深度学习的算法已实现智能识别特征，无需人工设计特征，大部分深度学习算法在特征识别准确率上也远超传统算法。
[0010]公共场所情况复杂多变，监控视频中的数据信息只是其中一部分，还有静态场景先验知识以及社会治安相关知识，仅从监控视频单一角度去构建场景是不健全的，有必要将数据与知识融合，利用多源异构信息构建场景模型，实现对集群行为的精准和高效识别。融合数据
‑
知识构建信息元模型，基于信息元模型进行场景建模，利用信息元表示场景中目标及其属性、关系，实现全面真实的描述场景。场景信息元从信息元本身、信息元属性以及
属性间的关联关系三个角度全面刻画了集群行为发生的真实场景，为后续集群行为的综合研判提供信息支撑。
[0011]进一步的，数据与知识融合建模层首先通过监控数据/视频图像预先判断是否是集群行为，若不属于集群行为，则终止后续的集群行为的分析和判断，减少不必要的计算机资源和时间消耗；若属于集群行为，则继续挖掘其他特征，并得到数据元，数据元与知识元融合构成信息元。
[0012]数据与知识融合建模层通过构建人数异常判断模块预先判断视频数据是否是集群行为；所述人数异常判断模块包括将视频图像生成人群密度图，通过人群密度图估计人的数量，同时结合经验知识库和行为备案库判断是否是集群行为，若不属于集群行为，则终止后续的集群行为的分析和判断；若属于集群行为，则开始挖掘其他特征；所述经验知识库即管理人员知识，是指通过实地调研、整理案例库、走访警员途径，总结归纳的集群行为特征所形成的数据库，同时，也可通过机器学习算法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于场景知识元的集群行为理解系统，其特征在于：系统依次包括信息采集与特征挖掘层、数据与知识融合建模层和场景再现与行为理解层；所述信息采集与特征挖掘层包括用于采集监控数据/视频图像的摄像头视频数据模块及用于采集监控外知识与规则信息的行为先验知识模块；还包括对监控数据/视频图像进行特征挖掘得到的视频特征数据集，以及对监控外知识与规则信息进行特征挖掘得到的行为特征知识集；所述数据与知识融合建模层包括通过算法由视频特征数据集抽取得到的行为特征数据集和背景特征数据集，以及通过算法由行为特征知识集抽取得到的行为备案库、管理人员知识以及研判规则；所述行为特征数据集和背景特征数据集共同构成数据元，所述行为备案库、管理人员知识以及研判规则共同构成知识元；通过将数据元和知识元融合构建信息元模型；场景再现与行为理解层中将信息元细分为人群信息元和背景信息元，人群信息元包括人群的数量变化及其行为变化；背景信息元包括视频内背景信息元和视频外背景信息元，视频内背景信息元和人群信息元是构建信息元模型时数据的来源，视频外背景信息元是构建信息元模型时知识的来源；通过上述分类表示,尽可能全面真实的再现集群现场，并结合先验知识和已有规则对视频采集到的集群行为进行综合分析，判断是否是异常的集群行为。2.如权利要求1所述的基于场景知识元的集群行为理解系统，其特征在...

【专利技术属性】
技术研发人员：张勇，刘晓栋，台运启，刘艺，王嘉悦，
申请(专利权)人：中国人民公安大学，
类型：发明
国别省市：