基于视频数据机器学习的人员异常行为预警方法、系统及计算机设备技术方案

本发明专利技术涉及人工智能领域，具体涉及一种人员异常行为预警方法、系统及计算机设备，方法包括获取视频图像数据，并对视频图像数据进行数据清洗；对视频图像数据进行预处理；对人体运动模式进行识别，为每一种类型设置分类标签，并进行多模态特征编码；去除数据中心冗余特征并通过信息增益选择特征；构造张量神经网络对视频中出现的人物进行追踪，根据追踪的任务轮廓基于步态能量图进行步态检测，并对视频中任务进行皮肤裸露度进行检测将裸露程度作为人物的外貌衣着指标，综合以上指标计算视频帧间图像进行相关性，并根据相关计算的结果对人物进行行为异常判断；本发明专利技术能够提高现场管控工作效率和降低工作负荷，增强预警差错控制。制。制。

【技术实现步骤摘要】
基于视频数据机器学习的人员异常行为预警方法、系统及计算机设备


[0001]本专利技术涉及人工智能领域，具体涉及一种基于视频数据机器学习的人员异常行为预警方法、系统及计算机设备。

技术介绍

[0002]智慧园区(医院、校园或工地等)人员内异常行为时有发生，有的甚至不惜以生命为代价(如跳楼自弃和他人行凶等)。智慧园区信息化建设中充分利用视频图像监测等数据，分析园区内人员异常行为，及时提供预警等方面的决策支持。基于本体知识、增强学习、三维人体姿势估计等相关人工智能技术，研发新技术提升园区人员监控视频图像的决策支持能力，特别是对于异常行为风险(特别是生命自弃行为等)的预防及管控能力提升。
[0003]消极和异常高涨是本系统重点关注的异常行为状态。过人脸检测和视频图像数据增强学习，进行外貌衣着、体态、步态、步速、面部表情、精神状态等特征提取，主要判断人员情绪状态的三类(正常、消沉、异常高涨)。因多数生命自弃者都会将其意图通过情感、行为等方式表现出来，这些都是不容忽视的求救信号。消极状态又主要表现为流露出长时间的悲哀抑郁、孤独、无助感、绝望等消极特征信息。异常高涨表现为突如其来的、没理由的充满激情。例如，通过视频图像数据提取的轨迹，分析得出某人员平时看起来沉着安静，突然某天表现出充满激情、斗志昂扬，但通过密切接触人员等了解该人员近期并没有发生什么特别重要的事情。那么，该人员属于异常行为状态，因在预警决策支持系统中给予警示信息。

技术实现思路

[0004]为了能够在一些特定园区对园区内人员的行为进行异常预测，减少特殊事件发生，本专利技术提出一种基于视频数据机器学习的人员异常行为预警方法、系统及计算机设备，所述方法包括以下步骤：
[0005]S1、获取视频图像数据，并对视频图像数据进行数据清洗；
[0006]S2、对视频图像数据进行预处理，包括去掉数据中涉及到隐私的信息以及对于模糊视频采用帧质量增强方法来提高视频清晰度；
[0007]S3、对人体运动模式进行识别，为每一种类型设置一个分类标签，并进行多模态特征编码；
[0008]S4、对多模态编码进行特征工程处理，即去除数据中心冗余特征并通过信息增益选择特征；
[0009]S5、构造张量神经网络对视频中出现的人物进行追踪，根据追踪的任务轮廓基于步态能量图进行步态检测，并对视频中任务进行皮肤裸露度进行检测将裸露程度作为人物的外貌衣着指标，综合以上指标计算视频帧间图像进行相关性，并根据相关计算的结果对人物进行行为异常判断；S6、构建预警决策支持，即如果获取帧间图像之间相似性和差异性的动态信息显示被摄人员行为异常，则通知相关人员进行应对。
[0010]进一步的，在步骤S3进行特征工程处理后，对数据进行检测，若存在非随机性缺失数据、做作数据，则采用统计机器学习方法和双重鲁棒性对其进行推理，获得该数据的完整数据。
[0011]进一步的，多模态特征编码具体包括以下过程：对获取的图像使用5维张量结构，通过(samples,frames,height,width,channels)编码视频数据，分别表示视频数据的样本、帧、高度、宽度和通道这5维张量数据；对获取的视频图像使用4维张量结构，通过(samples,height,width,channels)编码视频数据，分别表示视频数据的样本、高度、宽度和通道这4维张量数据。
[0012]进一步的，对视频中出现的人物进行追踪包括：
[0013]将多模态编码的图像作为张量神经网络的输入；
[0014]张量神经网络包括人体姿态识别、行人检测以及前景和背景的分离；
[0015]通过人体姿态识别获取图像中人体的姿态关键序列点；
[0016]通过行人检测检测到人物，并将任务从图像中分割出来，结合前景和背景的分离，获取人物的姿态轮廓序列；
[0017]通过获取的姿态关键序列点和姿态轮廓序列对人物进行追踪和人物识别。
[0018]进一步的，对视频中任务进行皮肤裸露度进行检测将裸露程度作为人物的外貌衣着指标过程，即基于椭圆皮肤模型获取图像中人物的皮肤面积，将裸露的皮肤面积占人物轮廓的比例作为外貌衣着指标。
[0019]进一步的，在进行进行步态检测、外貌衣着指标后将设置一个长度为N帧、步长为t的滑动窗口，将行步态检测、外貌衣着指标通过滑动窗口取值，每个窗口的数据取其平均值作为相关性计算的数据。
[0020]进一步的，在进行差异性判断时，通过欧式距离计算两张图像之间的相关性。
[0021]进一步的，对人物进行行为异常判断时，若S帧内提取到的两张图像的相似性低于某个阈值，则判断任务异常。
[0022]本专利技术还提供一种人员异常行为预警系统，包括前端子系统、传输网络和监控中心，其中前端子系统包括各种监控设备，前端之子统通过传输网络将监控设备采集的信息传送到监控中心，监控中心包括异常行为预测装置，该装置通过收集的信息预测被摄人员是否存在异常，若存在则监控中心发出警报并将能够拍摄到该人员的监控设备投射到监控中心显示器上，进行实时监测。
[0023]本专利技术还提供一种人员异常行为预警计算机设备，包括存储器和处理器，存储器用于存储前述任一人员异常行为预警方法，并通过处理器运行存储于存储器中的方法，预测监控器中人员是否存在行为异常。
[0024]本专利技术还提出一种人员异常行为预警系统，包括前端子系统、传输网络和监控中心，其中前端子系统包括各种监控设备，前端系统通过传输网络将监控设备采集的信息传送到监控中心，监控中心包括异常行为预测装置，该装置通过收集的信息预测被摄人员是否存在异常，若存在则监控中心发出警报并将能够拍摄到该人员的监控设备投射到监控中心显示器上，进行实时监测。
[0025]本专利技术还提出一种人员异常行为预警计算机设备，包括存储器和处理器，存储器用于存储前述任一一种人员异常行为预警方法，并通过处理器运行存储于存储器中的方
法，预测监控器中人员是否存在行为异常。
[0026]本专利技术构建了基于机器学习的异常行为模式分类模型模型集，根据人体行为特征的不同粒度进行异常行为识别的方法，涵盖了对人脸数据匹配模型、行走步态辨识和精神状态评估的主要需求，提高了预警决策支持系统的智能水平，在监控视频图像数据利用和复用中凸显重要作用；通过视频图像采样、预处理、编码与特征提取、数据关联等过程，构建基于视频图像的预警数据库，为高维度异常行为识别数据的知识推理与数据管理提供技术支撑，能够提高现场管控工作效率和降低工作负荷，增强预警差错控制，丰富智慧园区信息共享平台的服务方式及提高预警控制面板的应用价值。
附图说明
[0027]图1是本专利技术实施例公开的现场视频图像监控网络架构示意图；
[0028]图2是本专利技术实施例公开的一种基于监控视频图像机器学习的异常行为预警流程示意图；
[0029]图3是本专利技术实施例公开的另一种基于监控视频图像机器学习的异常行为预警流程示意图；
[0030]图4是本专利技术实施例公开的一种基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于视频数据机器学习的人员异常行为预警方法，其特征在于，具体包括以下步骤：S1、获取视频图像数据，并对视频图像数据进行数据清洗；S2、对视频图像数据进行预处理，包括去掉数据中涉及到隐私的信息以及对于模糊视频采用帧质量增强方法来提高视频清晰度；S3、对人体运动模式进行识别，为每一种类型设置一个分类标签，并进行多模态特征编码；S4、对多模态编码进行特征工程处理，即去除数据中心冗余特征并通过信息增益选择特征；S5、构造张量神经网络对视频中出现的人物进行追踪，根据追踪的任务轮廓基于步态能量图进行步态检测，并对视频中任务进行皮肤裸露度进行检测将裸露程度作为人物的外貌衣着指标，综合以上指标计算视频帧间图像进行相关性，并根据相关计算的结果对人物进行行为异常判断；S6、构建预警决策支持，即如果获取帧间图像之间相似性和差异性的动态信息显示被摄人员行为异常，则通知相关人员进行应对。2.根据权利要求1所述的基于视频数据机器学习的人员异常行为预警方法，其特征在于，在步骤S3进行特征工程处理后，对数据进行检测，若存在非随机性缺失数据、做作数据，则采用统计机器学习方法对其进行推理，获得该数据的完整数据。3.根据权利要求1所述的基于视频数据机器学习的人员异常行为预警方法，其特征在于，多模态特征编码具体包括以下过程：对获取的图像使用5维张量结构，通过(samples,frames,height,width,channels)编码视频数据，分别表示视频数据的样本、帧、高度、宽度和通道这5维张量数据；对获取的视频图像使用4维张量结构，通过(samples,height,width,channels)编码视频数据，分别表示视频数据的样本、高度、宽度和通道这4维张量数据。4.根据权利要求1所述的基于视频数据机器学习的人员异常行为预警方法，其特征在于，对视频中出现的人物进行追踪包括：将多模态编码的图像作为张量神经网络的输入；张量神经网络包括人体姿态识别、...

【专利技术属性】
技术研发人员：余海燕，文钰婷，蔡宇翔，尹彦臻，汪雨宸，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：