一种基于深度神经网络的人体行为识别方法及识别系统技术方案

本发明专利技术提供了一种基于深度神经网络的人体行为识别方法，包括：获取行为人的原始深度数据流；通过行为人的原始深度数据流提取人体的骨架关节点数据；利用提取到的人体骨架关节点数据所对应的三维坐标，来对整个人体建模；通过对整个人体建模来进行特征提取，将特征数据送入限制波尔兹曼机网络进行预处理，将得到的权值初始化BP神经网络参数，训练出深度神经网络模型，并据此对特征提取的结果进行行为识别；采用多线程并行处理，将提取到的人体骨架关节点数据与实际人体进行重合，并将识别到的行为进行实时显示；建立异常行为模板库并对检测到的异常行为进行报警。本发明专利技术能实时的检测人体行为的变化，对人体的异常行为(如跌倒)进行报警。

【技术实现步骤摘要】

本专利技术涉及视频识别领域，尤其涉及一种基于深度神经网络的人体行为识别方法及识别系统。
技术介绍
众所周知，现在正是人体老年化的时代，我国是世界上老年人口最多的国家，有报告指出，到2020年老年人口将到2.48亿，加上计划生育的实施，独生子女忙于工作，许多老人的大部分时间都是独立的生活。许多异常行为不能及时发现，以至于老人延误治疗失去生命的惨剧时有发生，严重影响老年人的生命质量。例如，跌倒行为是我国65岁以上老年人伤害死亡的直接原因。如果能对空巢老人的日常生活进行陪护，对其行为进行有效的识另IJ，及时发现生活中的异常行为，这将大大提高老人的生命质量，对家庭和谐、社会的发展具有重大的意义。而人体行为识别是居家陪护的核心，人体的行为很复杂，同一个行为对不同人来说会有不同的表现，对人行为进行有效的识别成为当务之急。目前，现有技术对人体行为识别的方式都是采用传统加速度计、陀螺仪等，比如在人体的某个部位放上传感器等，这种方式识别人体的行为种类很有限，且识别精度不高，识别速度慢，识别行为单一，可扩展性差。因此，亟需设计一种人体行为识别的智能陪护系统，以提高识别的种类、精度和速度。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提供一种基于深度神经网络的人体行为识别方法及识别系统，旨在解决现有技术中识别人体行为的种类有限、识别精度不高、识别速度慢的问题。本专利技术实施例是这样实现的，一种基于深度神经网络的人体行为识别方法，包括:获取行为人的原始深度数据流；通过所述行为人的原始深度数据流提取人体的骨架关节点数据；利用提取到的人体骨架关节点数据所对应的三维坐标，来对整个人体建模；通过对整个人体建模来进行特征提取，将特征数据送入限制波尔兹曼机网络进行预处理，将得到的权值初始化BP神经网络参数，训练出深度神经网络模型，并用训练好的深度神经网络模型对特征提取的结果进行行为识别；采用多线程并行处理，将提取到的人体骨架关节点数据与实际人体进行重合，并将识别到的行为进行实时显示；建立异常行为模板库，并对检测到的异常行为进行报警。优选的，所述获取行为人的原始深度数据流的步骤包括:采用kinect传感器对视野中的行为人进行监视，并获取实时采集到的RGB视频流，以及利用光编码获取行为人的原始深度流数据。优选的，所述通过所述行为人的原始深度数据流提取人体的骨架关节点数据的步骤包括:在所述行为人的原始深度数据流的基础上，通过坐标变换以及平滑滤波方式提取人体的骨架关节点数据，并通过视觉处理技术进行显示。优选的，所述人体骨架关节点数据包括人体20个骨架关节点数据。优选的，所述通过对整个人体建模来进行特征提取，将特征数据送入限制波尔兹曼机网络进行预处理，将得到的权值初始化BP神经网络参数，训练出深度神经网络模型，并用训练好的深度神经网络模型对特征提取的结果进行行为识别的步骤包括:通过对整个人体建模提取行为人骨架关节点的标量信息特征以及矢量信息特征，其中，所述标量信息特征包括两关节点的相对距离特征、关节点坐标轴的相对变化特征以及关节与关节之间构成的夹角特征，所述矢量信息特征包括关节点的速度变化特征、一关节点相对于另一个关节点的坐标变化特征以及特殊关节点的加速度变化特征；将提取到的行为人骨架关节点的标量信息特征以及矢量信息特征整体进行编码构成输入矩阵，同时对人体行为进行编码；将所述输入矩阵以及对人体行为进行的编码一起送入限制波尔兹曼机网络进行数据预处理；将预处理后的数据加入反向传播算法神经网络进行学习；通过学习建立深度神经网络系统模型，并利用所述深度神经网络系统模型进行行为识别。另一方面，本专利技术还提供一种基于深度神经网络的人体行为识别系统，包括:数据采集模块，用于获取行为人的原始深度数据流；节点提取模块，用于通过所述行为人的原始深度数据流提取人体的骨架关节点数据；数据建模模块，用于利用提取到的人体骨架关节点数据所对应的三维坐标，来对整个人体建模；行为识别模块，用于通过对整个人体建模来进行特征提取，将特征数据送入限制波尔兹曼机网络进行预处理，将得到的权值初始化BP神经网络参数，训练出深度神经网络模型，并用训练好的深度神经网络模型对特征提取的结果进行行为识别；数据处理模块，用于采用多线程并行处理，将提取到的人体骨架关节点数据与实际人体进行重合，并将识别到的行为进行实时显示；模板建立模块，用于建立异常行为模板库，并对检测到的异常行为进行报警。优选的，所述数据采集模块，具体用于采用kinect传感器对视野中的行为人进行监视，并获取实时采集到的RGB视频流，以及利用光编码获取行为人的原始深度流数据。优选的，所述节点提取模块，具体用于在所述行为人的原始深度数据流的基础上，通过坐标变换以及平滑滤波方式提取人体的骨架关节点数据，并通过视觉处理技术进行显不O优选的，所述人体骨架关节点数据包括人体20个骨架关节点数据。优选的，所述行为识别模块包括:特征提取子模块，用于通过对整个人体建模提取行为人骨架关节点的标量信息特征以及矢量信息特征，其中，所述标量信息特征包括两关节点的相对距离特征、关节点坐标轴的相对变化特征以及关节与关节之间构成的夹角特征，所述矢量信息特征包括关节点的速度变化特征、一关节点相对于另一个关节点的坐标变化特征以及特殊关节点的加速度变化特征；特征编码子模块，用于将提取到的行为人骨架关节点的标量信息特征以及矢量信息特征整体进行编码构成输入矩阵，同时对人体行为进行编码；预处理子模块，用于将所述输入矩阵以及对人体行为进行的编码一起送入限制波尔兹曼机网络进行数据预处理；深度学习子模块，用于将预处理后的数据加入反向传播算法神经网络进行学习；模型建立子模块，用于通过学习建立深度神经网络系统模型，并利用所述深度神经网络系统模型进行行为识别。在本专利技术实施例中，本专利技术提供的技术方案不需要行为人穿戴任何传感器设备，和传统的视频监测行为相比，本专利技术的技术方案利用kinect传感器只用到了深度景深数据，进而可以很好的保护用户隐私，本专利技术的技术方案可以识别多种人体行为，例如常见的跌倒、打电话、弯腰、看书、坐、蹲等人体行为，本专利技术的技术方案通过对同一种行为有多种特征表达，大大提高行为识别的准确率，并通过对大量的人体行为数据进行自动预处理、降维，进而大大提高行为识别速度，同时对提取到的深度数据不用进行复杂的图像等方式处理，而是仅仅做简单的数据特征提取，进而完成复杂的人体行为数据分析、确定人体行为、并对设定的异常行为进行报警处理。【附图说明】图1为本专利技术一实施方式中基于深度神经网当前第1页1 2 3 4 本文档来自技高网...

【技术保护点】
一种基于深度神经网络的人体行为识别方法，其特征在于，所述基于深度神经网络的人体行为识别方法包括：获取行为人的原始深度数据流；通过所述行为人的原始深度数据流提取人体的骨架关节点数据；利用提取到的人体骨架关节点数据所对应的三维坐标，来对整个人体建模；通过对整个人体建模来进行特征提取，将特征数据送入限制波尔兹曼机网络进行预处理，将得到的权值初始化BP神经网络参数，训练出深度神经网络模型，并用训练好的深度神经网络模型对特征提取的结果进行行为识别；采用多线程并行处理，将提取到的人体骨架关节点数据与实际人体进行重合，并将识别到的行为进行实时显示；建立异常行为模板库，并对检测到的异常行为进行报警。

【技术特征摘要】

【专利技术属性】
技术研发人员：陈亮，龙伟，王娜，李霞，
申请(专利权)人：深圳大学，
类型：发明
国别省市：广东;44