基于姿态估计的全景监控下人体异常行为识别报警系统及方法技术方案

本发明专利技术公开了一种基于姿态估计的全景监控下人体异常行为识别报警系统及方法，属于智能监控系统技术领域；利用全景摄像头实现360度视频的获取，基于深度学习的人体姿态估计算法提取人体的骨骼关键点坐标作为人体行为识别算法的特征输入；利用坐标组成包含空间信息和时间序列信息的时空图模型，对时空图进行多阶段的时空图卷积操作，提取高级特征，最后用SoftMax分类器进行行为分类，得到行为结果并判断是否为异常行为。本发明专利技术具有采集视野范围广、无盲区的特点，可实时处理全景监控系统下的人体异常行为检测，在异常行为刚刚发生时及时本地报警，且远程的管理者能够及时获得报警短信，同时可使用手机实时查看现场情况。

【技术实现步骤摘要】
基于姿态估计的全景监控下人体异常行为识别报警系统及方法
本专利技术涉及一种基于姿态估计的全景监控下人体异常行为识别报警系统及方法，属于智能监控系统

技术介绍
近年来，公共场所发生的暴力事件让社会各界意识到了安防监控的必要性。进入21世纪以来，随着硬件技术以及机器视觉技术的发展，监控行业在我国如雨后春笋般快速崛起，如今，在众多的公共场所，例如火车站、商场、校园、银行等人口流动量大的地方，都安装了用于安防监控的摄像头。这样的措施，不仅有效的保障了人民的人身财产安全，同时，对于维护社会治安、打击违法犯罪，也作出了突出的贡献。传统的监控系统大多是单目摄像头，主要功能是对监控区域内视频进行播放与存储，通过人为的观察实现视频中信息的采集与判断，往往会出现紧急事件发现处理不及时，导致事态严重的情况。与单目摄像头相比，全景摄像头具有视野范围广、无盲区的特点。对行为识别的研究可追溯到1975年，Johansson在实验中发现，人体的运动可以通过主要关节点的移动来描述，提出12点人体模型，通过关键点的组合与追踪，实现通过人体关节点的运动来识别行为。针对简单行为识别方法的研究，Sukthanker等人提出了层级均值漂移算法，利用剪影的3D时空体与光流信息相结合，对人体动作进行建模。针对较为复杂行为的识别方法，Krizhevsky等人提出了马尔科夫网与一阶逻辑相结合的马尔科夫逻辑网络，利用马尔科夫逻辑网络对子行为之间的时空关系进行描述。在真实场景下的行为识别，存在遮挡、光照变化等问题，为了获得更具表达性、区分性和鲁棒性的行为识别，Laptev等人提出了基于局部兴趣点轨迹的行为识别方法，将时空兴趣点的局部特征检测法与KLT跟踪器结合，获取兴趣点的运动轨迹。Wang等人进一步提出了基于稠密轨迹的行为识别方法，在每帧中采样很多特征点，利用光流场对特征点进行跟踪，利用轨迹的表观信息和轨迹之间的时空信息对轨迹进行表达。传统算法中表现较好的算法是IDT(ImproveDenseTrajectory)，利用光流场对视频序列中每一帧的兴趣点进行跟踪，来获取视频序列中的轨迹，再根据轨迹计算特征，并对特征进行编码，训练支持向量机，实现人体行为识别。2014年，受卷积神经网络在图像分类领域取得成功的启发，研究者开始把卷积神经网络用于视频分类，卷积神经网络利用局部感受野、权值共享以及空间聚合来实现对视频序列的特征表达。2015年以来，陆续有研究者提出新型的算法，其中经典的包括Two-Stream、C3D(Convolution3Dimension)、循环神经网络RNN等。目前，基于深度学习的行为识别技术，从输入形式上可以分为：视频序列、深度图像序列和骨架序列信息。相比于视频序列，深度图像包含了深度几何结构的前景信息，在行为识别任务中可减少光照对识别的影响，但深度图像相较于彩色图片，包含较少的纹理信息和大量的噪声。随着硬件设备发的发展，高清设备得到广泛的应用，基于视频序列的研究更具有普适性，更容易得到推广。基于视频序列的行为识别任务中，通常将视频序列信息分为时域信息和空域信息，在行为表达过程中，时间的动态信息对行为表达具有重要作用。为获取动作的动态信息，研究者提出了对骨架序列进行分析，通过追踪骨架关节点的轨迹获取动作的轨迹曲线，人体的骨骼和关节轨迹对光照和场景变化具有较强的鲁棒性，易于获得。图卷积神经网络将图应用到基于骨架的动作识别任务中，通过利用图卷积的局域性和时间动力学来隐式地学习部位信息，模型容易设计，并且能够更好地学习动作表示。目前，大部分的异常行为识别算法更偏重于算法的准确性，实时性较差，而一个实用的异常行为检测系统的作用是监控下一旦发生异常情况，能够及时检测识别该异常的类别并发出警报，确保突发事件的及时发现与处理。因此，提供一种基于姿态估计的全景监控下人体异常行为识别报警系统及方法，具有采集视野范围广、无盲区的特点，可实时处理全景监控系统下的人体异常行为检测，在异常行为刚刚发生时及时本地报警，且远程的管理者能够及时获得报警短信，同时可使用手机实时查看现场情况，就成为该
急需解决的技术难题。
技术实现思路
本专利技术的目的之一是提供一种基于姿态估计的全景监控下人体异常行为识别报警系统，具有采集视野范围广、无盲区的特点，可实时处理全景监控系统下的人体异常行为检测，在异常行为刚刚发生时及时本地报警，且远程的管理者能够及时获得报警短信，同时可使用手机实时查看现场情况。本专利技术的上述目的是通过以下技术方案实现的：一种基于姿态估计的全景监控下人体异常行为识别报警系统，包括视频监控装置、服务器、监控视频显示端和移动监控视频显示端(智能手机)；视频监控装置与服务器之间通过网线连接，服务器与监控视频显示端之间采用高清多媒体连接线(HDMI)连接，服务器还通过阿里云与移动监控视频显示端(智能手机)相连接；服务器包括VGG特征提取模块、姿态估计模块、行为识别模块、判别模块和预警模块，VGG特征提取模块与姿态估计模块相连接，姿态估计模块与行为识别模块相连接，行为识别模块与判别模块相连接，判别模块与预警模块相连接；视频监控装置与电脑连接，电脑设有OBS推流模块，在亚马逊(AWS)云端分别设有流媒体服务器(是在云端服务器搭建的SRS模块，该模块被称之为流媒体服务器)和视频分发模块，OBS推流模块与流媒体服务器相连接，流媒体服务器与视频分发模块相连接。优选地，所述视频监控装置为insta360pro。优选地，所述服务器的配置为Intel(R)Core(TM)i7-4770KCPU@3.5GHz，8G内存(RAM)，显卡型号为GeForceGTX1080。优选地，所述监控视频显示终端采用戴尔24英寸电脑显示器。优选地，所述流媒体服务器是AmazonWebServices(AWS)的云端EC2服务，配置为2vCPU，内存(RAM)为4G。优选地，所述视频分发模块使用的是AmazonWebServices(AWS)的云端EC2服务，配置为4vCPU，内存(RAM)为16G。本专利技术的另一目的是提供一种基于姿态估计的全景监控下人体异常行为识别报警方法，具有采集视野范围广、无盲区的特点，可实时处理全景监控系统下的人体异常行为检测，在异常行为刚刚发生时及时本地报警，且远程的管理者能够及时获得报警短信，同时可使用手机实时查看现场情况。本专利技术的上述目的是通过以下技术方案实现的：一种基于姿态估计的全景监控下人体异常行为识别报警方法，包括如下步骤：步骤1：获取全景监控视频，将视频以RTSP(RealTimeStreamingProtocol)流的形式发送到服务器；步骤2：使用VGG(VisualGeometryGroup)网络提取视频中图像的特征；步骤3：使用openpose算法对步骤2中的图像特征进行姿态估计，获取人体的身体加足部25个关键点坐标；步骤4：选择步骤3中身体的18个关键点坐标构建时空图模型；步骤5：对步骤4中构建的时空图模本文档来自技高网...

【技术保护点】
1.一种基于姿态估计的全景监控下人体异常行为识别报警系统，其特征在于：包括视频监控装置、服务器、监控视频显示端和移动监控视频显示端；视频监控装置与服务器之间通过网线连接，服务器与监控视频显示端之间采用高清多媒体连接线连接，服务器还通过阿里云与移动监控视频显示端相连接；服务器包括VGG特征提取模块、姿态估计模块、行为识别模块、判别模块和预警模块，VGG特征提取模块与姿态估计模块相连接，姿态估计模块与行为识别模块相连接，行为识别模块与判别模块相连接，判别模块与预警模块相连接；视频监控装置与电脑连接，电脑设有OBS推流模块，在亚马逊云端分别设有流媒体服务器和视频分发模块，OBS推流模块与流媒体服务器相连接，流媒体服务器与视频分发模块相连接。/n

【技术特征摘要】
1.一种基于姿态估计的全景监控下人体异常行为识别报警系统，其特征在于：包括视频监控装置、服务器、监控视频显示端和移动监控视频显示端；视频监控装置与服务器之间通过网线连接，服务器与监控视频显示端之间采用高清多媒体连接线连接，服务器还通过阿里云与移动监控视频显示端相连接；服务器包括VGG特征提取模块、姿态估计模块、行为识别模块、判别模块和预警模块，VGG特征提取模块与姿态估计模块相连接，姿态估计模块与行为识别模块相连接，行为识别模块与判别模块相连接，判别模块与预警模块相连接；视频监控装置与电脑连接，电脑设有OBS推流模块，在亚马逊云端分别设有流媒体服务器和视频分发模块，OBS推流模块与流媒体服务器相连接，流媒体服务器与视频分发模块相连接。


2.根据权利要求1所述的基于姿态估计的全景监控下人体异常行为识别报警系统，其特征在于：所述视频监控装置为insta360pro。


3.根据权利要求1所述的基于姿态估计的全景监控下人体异常行为识别报警系统，其特征在于：所述服务器的配置为Intel(R)Core(TM)i7-4770KCPU@3.5GHz，8G内存，显卡型号为GeForceGTX1080。


4.根据权利要求1所述的基于姿态估计的全景监控下人体异常行为识别报警系统，其特征在于：所述监控视频显示终端采用戴尔24英寸电脑显示器。


5.根据权利要求1所述的基于姿态估计的全景监控下人体异常行为识别报警系统，其特征在于：所述流媒体服务器使用AWS的云端EC2服务，配置为2vCPU，内存为4G。


6.一种基于姿态估计的全景监控下人体异常行为识别报警方法，包括如下步骤：
步骤1：获取全景监控视频，将视频以RTSP流的形式发送到服务器；
步骤2：使用VGG网络提取视频中图像的特征；
步骤3：使用openpose算法对步骤2中的图像特征进行姿态估计，获取人体的身体加足部25个关键点坐标；
步骤4：选择步骤3中身体的18个关键点坐标构建时空图模型；
步骤5：对步骤4中构建的时空图模型进行时空图卷积操作，识别视频中每个人的行为；
步骤6：判断步骤5中识别出的行为中是否包含异常行为，若不包含异常行为则返回步骤2继续执行；若包含异常行为则继续执行下一步；
步骤7：本地主机通过声音报警，并通过阿里云的短信服务向不在现场的管理者发送报警短信进行提醒；
步骤8：本地监控者听到报警后可通过本地电脑显示器直接查看现场的情况，远程管理者接收到报警短信之后可通过手机APP或网页浏览器查看现场的情况。


7.根据权利要求6所述的基于姿态估计的全景监控下人体异常行为识别报警方法，其特征在于：步骤1中，全景监控设备通过网线与本地服务器相连，以RTSP流的形式将视频实时发送到服务器；步骤2中，使用VGG-19网络的前10层获取图像的特征，作为姿态估计网络的输入；步骤3中，姿态估计是自底向上的算法，先检测出所有人的骨骼关键点，再将关键点进行连接形成图，最后通过图优化的方法剔除错误连接，实现多...

【专利技术属性】
技术研发人员：李建更，谢海征，王广生，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11