一种监控视频多维度行人行为智能分析系统及方法技术方案

本发明专利技术涉及一种监控视频多维度行人行为智能分析系统及方法，该系统包括个体行为分析模块、小群组行为分析模块、群组行为分析模块、场景分析模块、行人行为维度评估模块、智能网关、应用逻辑集成模块和视频来源管理模块。该方法为：获取监控视频数据流，从监控视频数据流中提取视频帧，使用关键视频帧数据进行场景分类和行人行为维度的选择；合并场景和行人行为维度信息；进行行人行为分析模块选择的决策及管理数据的传输；通过选定的行为维度下的行人行为分析模块中集成的一种场景的行人行为分析模型，进行智能行为识别，输出最终行人行为识别结果。本发明专利技术可支持各种复杂监控场景和行人行为维度的行人行为识别。

【技术实现步骤摘要】
一种监控视频多维度行人行为智能分析系统及方法
本专利技术涉及计算机科学及机器视觉与人工智能
，具体涉及一种监控视频多维度行人行为智能分析系统及方法。
技术介绍
智能视频分析技术在当前的安防监控、娱乐、人机交互和自动驾驶等领域都具有非常重要的应用。而行人行为分析与识别是其中一个关键的技术难点。比如，通过识别监控视频中的行人的动作行为或运动趋势来判断是否有异常行为发生，从而实现公共突发事件智能报警等功能。因此，智能视频监控在公共安全领域具有紧迫的应用需求。此外，通过识别行人的动作行为和运动趋势，也可以辅助自动驾驶决策。根据视频中行人的数量、动作内容和群体运动趋势，行为分析可以分为四类：单个个体行为、人和物交互、人和人交互以及群体行为。目前，很多研究人员都在对这些行为的分析与识别进行重点研究。传统的个体行为和交互行为(包括人和物以及人和人之间的交互行为)识别方法主要包括特征提取、特征编码和行为分类三个步骤。轨迹追踪(DenseTrajectories—DT)算法及其改进算法(iDT)是其中基于特征工程和机器学习效果较好的算法。该方法首先通过在多个尺度下进行密集采样得到特征点并对它们进行追踪，形成运动追踪轨迹，然后根据轨迹提取低层运动特征信息，包括：TrajectoryShapes(TS)、HistogramofOrientedGradients(HOG)、HistogramofOpticalFlows(HOF)和MotionBoundaryHistogram(MBH)等。这些特征信息再经过编码(如使用视觉词袋模型(BagofVisualWords—BOVW)或者FisherVector)形成高层视频特征描述。最后使用机器学习分类器(如支持向量机(SupportVectorMachine—SVM)，LDA—LinearDiscriminantAnalysis或人工神经网络(ArtificialNeuralNetworks—ANN)等)对视频特征描述进行分类，从而实现行人行为识别。目前，深度学习模式在个体和交互行为中表现出了较好的识别效果，如双通道卷积神经网络(Two-streamCNN)和三维卷积模型(C3D)等。双通道卷积神经网络模型(Two-streamCNN)如图所示，该模型包含两个数据输入通道：空间特征通道(SpatialStream)和时间特征通道(TemporalStream)。其中空间特征通道以原始帧(RGB图像)为输入，使用深度卷积神经网络学习空间特征；时间特征通道以光流栈(连续16帧光流)为输入，也使用深度卷积神经网络学习时间特征。两种特征经过特征融合算法形成最终的时空特征，然后使用分类器进行行为分类。C3D使用三维卷积神经网络(3DCNN)代替二维卷积神经网络(2DCNN)，可以直接从连续的视频帧中自动学习时空特征。与个体行为分析与识别类似，群体行为也包括基于传统机器学习和基于深度学习的方法。传统机器学习方法主要是基于时空体(Space-TimeVolumes—STV)、3DHOG(HistogramsofOrientedGradients)和KLT(Kanade-Lucas-Tomasi)追踪算法等特征提取方法提取行人运动特征，然后用这些特征对机器学习分类器进行训练。受限于机器学习分类器的学习性能，近年来，深度学习网络开始被广泛应用于群体行为分析与识别。为了保证提取的特征兼具时间(动态)和空间(静态)信息，基于特征融合(算法提取的特征与深度学习自动学习的特征)的深度学习模型开始被研发，如SIOF特征分析模型等，这些方法在群体行为分析和群体异常检测方面取得了一定的效果。在大范围极高人群密度场景下，基于时空体数据结构(Spatio-TemporalVolume，STV)的算法模型表现出较好的检测效果。图4展示了一个基于STV的高密度群体异常行为检测算法的处理流程，主要包括以下步骤：1)该模型首先在时间轴上累积视频帧，形成时空体数据STV；2)在STV上延时间轴对数据进行切片形成时空纹理特征；3)通过分析与学习时空纹理特征来检测是否有异常群体行为发生。基于STV数据结构的视频分析方法能够同时继承时间和空间的相关性与连续性。当前的监控视频中行人行为智能分析方法还存在以下两个主要问题：1)没有与场景信息融合，因此只能在单一场景下进行使用，无法区分与识别不同场景下同一类型行为的语义信息，例如，由于没有场景信息，这些方法很难区分人群在跑马拉松，还是在逃跑；2)缺乏行人行为维度信息，无法根据视频中行为发起者的维度和行人密度信息，动态、智能地选择合适的行人行为分析与识别方法(例如，选择个体行为分析模块还是小群组行为分析模块)。以上两个缺点导致当前的行人行为分析方法只能适用于单一场景、单一行人行为维度的某种行人行为的识别，适应性较差，因此还无法进行商业化应用。目前市面上的智能摄像头设备(如萤石、华为和小米智能摄像头)只配备了简单的功能，如通过光流法或者帧差法等视频处理算法来判断当前监控视频中是否有运动物体，这些设备都也无法分析与识别监控视频中的行人行为事件，智能化程度较低。综上所述，有必要对现有技术作进一步创新。
技术实现思路
针对上述
技术介绍
中存在的问题，本专利技术提出了一种构思合理，能有效地解决现有方法因能应用的场景、行人行为维度和识别的行人行为种类单一而导致的适应性较差的问题，可支持各种复杂的监控场景和行人行为维度，大大提高监控视频中行人行为识别的准确性、通用性和效率的监控视频多维度行人行为智能分析系统及方法。本专利技术的技术方案如下：上述的监控视频多维度行人行为智能分析系统，包括个体行为分析模块、小群组行为分析模块、群组行为分析模块、场景分析模块、行人行为维度评估模块、智能网关、应用逻辑集成模块和视频来源管理模块；所述个体行为分析模块用于实现智能分析与识别监控视频中单个行人个体的行为动作、人和物的交互行为以及2-3个人组成的低密度小群体间的交互行为；所述小群组行为分析模块用于实现在中高密度人群下识别一个及一个以上个体参与的小规模群体行为；所述群组行为分析模块用于实现在大范围场景下识别极高密度人群参与的大规模群体行为；所述场景分析模块用于实现对监控视频中的场景景物目标进行检测，从而分析当前画面的场景，以辅助进一步的在三个行人行为维度下的多种场景的行人行为分析模型的选择决策；所述行人行为维度评估模块用于评估监控视频中的行人密度，从而为进一步的行人行为维度选择决策提供依据；所述智能网关为基于场景信息和行人行为维度的模型决策模块，其具有两个功能，一是作为个体行为分析模块、小群组行为分析模块、群组行为分析模块、场景分析模块、行人行为维度评估模块、应用逻辑集成模块、视频来源管理模块和用户操作界面的调用入口，二是作为行人行为分析模块的决策，即根据行人行为维度和场景类型的判断，智能地决策选择相应行人行为维度和场景的行人行为分析模型，以实现监控视频中行人行为的多场景和多维度的智能分析与识别；所述应用逻辑集成模块用于组织应用逻辑和调用本文档来自技高网...

【技术保护点】
1.一种监控视频多维度行人行为智能分析系统，其特征在于：所述智能分析系统包括个体行为分析模块、小群组行为分析模块、群组行为分析模块、场景分析模块、行人行为维度评估模块、智能网关、应用逻辑集成模块和视频来源管理模块；/n所述个体行为分析模块用于实现智能分析与识别监控视频中单个行人个体的行为动作、人和物的交互行为以及2-3个人组成的低密度小群体间的交互行为；/n所述小群组行为分析模块用于实现在中高密度人群下识别一个及一个以上个体参与的小规模群体行为；/n所述群组行为分析模块用于实现在大范围场景下识别极高密度人群参与的大规模群体行为；/n所述场景分析模块用于实现对监控视频中的场景景物目标进行检测，从而分析当前画面的场景，以辅助进一步的在三个行人行为维度下的多种场景的行人行为分析模型的选择决策；/n所述行人行为维度评估模块用于评估监控视频中的行人密度，从而为进一步的行人行为维度选择决策提供依据；/n所述智能网关为基于场景信息和行人行为维度的模型决策模块，其具有两个功能，一是作为个体行为分析模块、小群组行为分析模块、群组行为分析模块、场景分析模块、行人行为维度评估模块、应用逻辑集成模块、视频来源管理模块和用户操作界面的调用入口，二是作为行人行为分析模块的决策，即根据行人行为维度和场景类型的判断，智能地决策选择相应行人行为维度和场景的行人行为分析模型，以实现监控视频中行人行为的多场景和多维度的智能分析与识别；/n所述应用逻辑集成模块用于组织应用逻辑和调用个体行为分析模块、小群组行为分析模块、群组行为分析模块、场景分析模块、行人行为维度评估模块、应用逻辑集成模块、视频来源管理模块协作完成系统工作，并且提供用户操作界面，并接入监控视频数据流，用户可以在该用户操作界面上进行操作和使用行人行为智能分析功能；/n所述视频来源管理模块用于为系统提供视频数据流。/n...

【技术特征摘要】
1.一种监控视频多维度行人行为智能分析系统，其特征在于：所述智能分析系统包括个体行为分析模块、小群组行为分析模块、群组行为分析模块、场景分析模块、行人行为维度评估模块、智能网关、应用逻辑集成模块和视频来源管理模块；
所述个体行为分析模块用于实现智能分析与识别监控视频中单个行人个体的行为动作、人和物的交互行为以及2-3个人组成的低密度小群体间的交互行为；
所述小群组行为分析模块用于实现在中高密度人群下识别一个及一个以上个体参与的小规模群体行为；
所述群组行为分析模块用于实现在大范围场景下识别极高密度人群参与的大规模群体行为；
所述场景分析模块用于实现对监控视频中的场景景物目标进行检测，从而分析当前画面的场景，以辅助进一步的在三个行人行为维度下的多种场景的行人行为分析模型的选择决策；
所述行人行为维度评估模块用于评估监控视频中的行人密度，从而为进一步的行人行为维度选择决策提供依据；
所述智能网关为基于场景信息和行人行为维度的模型决策模块，其具有两个功能，一是作为个体行为分析模块、小群组行为分析模块、群组行为分析模块、场景分析模块、行人行为维度评估模块、应用逻辑集成模块、视频来源管理模块和用户操作界面的调用入口，二是作为行人行为分析模块的决策，即根据行人行为维度和场景类型的判断，智能地决策选择相应行人行为维度和场景的行人行为分析模型，以实现监控视频中行人行为的多场景和多维度的智能分析与识别；
所述应用逻辑集成模块用于组织应用逻辑和调用个体行为分析模块、小群组行为分析模块、群组行为分析模块、场景分析模块、行人行为维度评估模块、应用逻辑集成模块、视频来源管理模块协作完成系统工作，并且提供用户操作界面，并接入监控视频数据流，用户可以在该用户操作界面上进行操作和使用行人行为智能分析功能；
所述视频来源管理模块用于为系统提供视频数据流。


2.如权利要求1所述的监控视频多维度行人行为智能分析系统，其特征在于：所述个体行为分析模块集成了一个及一个以上针对不同场景的基于个体行为特征提取与描述算法和基于深度学习网络的个体行为分析模型，且所述基于深度学习网络的个体行为分析模型为双通道卷积神经网络的特征融合模型；每个所述基于深度学习网络的个体行为分析模型，首先使用通用数据集进行预训练，然后针对不同场景的个体行为分析模型使用特定场景的数据集进行调优，以满足对一个及一个以上场景中的行人行为的识别需求。


3.如权利要求1所述的监控视频多维度行人行为智能分析系统，其特征在于：所述小群组行为分析模块集成了一个及一个以上针对不同场景的基于小群组行为特征提取与描述算法和基于深度学习网络的小群组行为分析模型，且所述基于深度学习网络的小群组行为...

【专利技术属性】
技术研发人员：许源平，张朝龙，冯暄，咬登国，许志杰，龚梅，乔少杰，郭本俊，李婵玉，黄健，
申请(专利权)人：成都信息工程大学，许源平，
类型：发明
国别省市：四川;51