一种基于自反馈基因表达式编程的人体行为识别方法技术

本发明专利技术公开了一种基于自反馈基因表达式编程的人体行为识别方法，该方法针对人体行为深度图像，从中提取出人体多个关节点的三维时间序列数据作为样本，利用由基因表达式编程在交叉、变异操作后再加入TIS插串操作构造得到自反馈基因表达式编程对样本进行建模，得到人体运动模型，TIS插串操作指的是在关节点运动序列头部插入函数符串；接着提取梯度信息作为模型特征。将训练样本的人体运动模型的模型特征输入至神经网络，训练得到神经网络模型作为人体行为分类器；将测试样本对应的人体运动模型的模型特征输入至上述获取的人体行为分类器中，得到人体行为识别结果。本发明专利技术具有人体行为识别准确度高及识别速度快的优点。

A human behavior recognition method based on self feedback gene expression programming

The invention discloses a human behavior recognition method of self feedback based on gene expression programming, the method for human behavior depth image, extracted from 3D time series data of a plurality of human body joints as samples, using gene expression programming in the crossover and variation operation after adding TIS inserted string operation was constructed from the feedback of gene expression programming for modeling samples, obtained the human motion model, TIS inserted string operation refers to the insert function in the joint motion sequence header string; then extract the gradient information as feature model. The human motion model of training samples of the model input to the neural network, the neural network model is trained as a classifier of human behavior; human motion model test samples corresponding to the model input to the acquisition of human behavior classifier, human behavior recognition results obtained. The invention has the advantages of high accuracy and quick recognition speed of human behavior recognition.

【技术实现步骤摘要】
一种基于自反馈基因表达式编程的人体行为识别方法
本专利技术涉及人体行为识别领域，特别涉及一种基于自反馈基因表达式编程的人体行为识别方法。
技术介绍
近几年，人体行为识别研究是国际上计算机学科最热门的前沿研究课题之一，具有重要的理论研究价值，研究课题内容丰富，涉及到图像处理与分析、机器视觉、人体生理学、人体运动学、模式识别和人工智能等多学科领域知识。人体行为识别研究不但拓宽了学科间的研究方向，而且带动相关学科的发展，同时也是智慧城市与公共安全迫切需要解决的关键技术，其广泛应用于人机智能交互、智能视觉监控、基于内容的视频检索、虚拟现实等领域。目前人体识别的大部的研究还只停止在静态的识别，人体运动的复杂性和易变性使得识别的准确性和高效性无法满足相关行业的实用要求。目前，现有技术中对人体行为的识别主要是采用关节点佩戴传感器或者是采用多摄像头进行多视角监视，关节点佩戴传感器是指在人体的某个部位放上传感器，这种方式识别人体的行为种类有限，且识别准确度不高、识别速度慢、识别行为单一且可扩展性差；采用多摄像头进行多视角监视是指在各个视角位置安装摄像头，通过各个视角的摄像头拍摄到的图片判定人体的行为，这种方式存在成本高、数据精度低、使用不便、受环境因素影响大等缺陷。
技术实现思路
本专利技术的目的在于克服现有技术的缺点与不足，提供一种基于自反馈基因表达式编程的人体行为识别方法，该方法利用自反馈基因表达式(SGEP)建立人体运动模型，然后将人体运动模型的梯度信息作为人体运动模型特征对各类人体行为进行精确刻画，最后通过神经网络对人体行为进行识别，具有人体行为识别准确度高以及识别速度快的优点。本专利技术的目的通过下述技术方案实现：一种基于自反馈基因表达式编程的人体行为识别方法，其特征在于，步骤如下：S1、获取人体行为深度图像，然后从人体行为深度图像中分别提取出人体N个关节点各自对应的三维时间序列数据，作为一个样本；S2、利用自反馈基因表达式编程对样本进行建模，获取到样本对应的各关节点运动序列，从而得到各样本基于关节点的人体运动模型；其中所述自反馈基因表达式编程由基因表达式编程在交叉、变异操作后再加入TIS插串操作构造得到，其中TIS插串操作指的是在关节点运动序列头部插入函数符串，用于增加关节点运动序列有效位的长度增长；S3、提取人体运动模型的梯度信息作为模型特征；S4、通过步骤S1获取到训练样本集，并且各训练样本通过步骤S2的方式获取到各训练样本的人体运动模型，然后通过步骤S3的方式提取各训练样本的人体运动模型的模型特征；S5、各训练样本的人体运动模型的模型特征作为神经网络的输入，对神经网络进行训练，将训练得到的神经网络模型，作为最终的人体行为分类器；S6、通过步骤S1获取到测试样本，并且测试样本通过步骤S2的方式获取到测试样本的人体运动模型，然后通过步骤S3的方式提取测试样本的人体运动模型的模型特征；S7、将测试样本的人体运动模型的模型特征输入至步骤S5中获取到的人体行为分类器中，通过该人体行为分类器得到人体行为识别结果。优选的，所述步骤S1中使用微软体感设备Kinect结合第二代SDK以及OpenCV计算机视觉库获取人体行为深度图像；其中利用TOF(TimeOfFlight，飞行时间)技术，计算微软Kinect传感器中红外传感器发射的红外光线到达人体后反射的相位差，得到基于人体的人体行为深度图像；各个关节点对应的三维时间序列数据是以微软体感设备Kinect的红外传感器为原点所建立的空间直角坐标系得到的，该空间直角坐标系包括x轴、y轴和z轴，其中x轴正方向为平行于微软体感设备Kinect水平方向向左，y轴正方向为垂直于微软体感设备Kinect倾斜方向向上，z轴正方向为微软体感设备Kinect朝向方向。优选的，所述步骤S1中N为25以上。优选的，所述步骤S1中在获取到人体行为深度图像后，将人体行为深度图像中的人体与背景进行分割，然后转化为骨架追踪系统，从而获取人体的多个关节点三维时间序列数据。优选的，所述步骤S2中自反馈基因表达式编程对样本进行建模，得到基于关节点的人体运动模型的具体过程如下：S21、确定人体运动模型所需的函数符集和终结符集以及终结符个数，并设定循环终止条件；S22、创建随机关节点运动序列初始种群，将各关节点运动序列表达为基因表达式树；关节点运动序列由函数符集和终结符集构成，终结符集中包括关节点三维时间序列数据中时间t以及关节点三维时间序列数据的坐标分量；S23、计算种群中各关节点运动序列的适应值，然后通过相对误差估计模型或绝对误差模型对种群中各关节点运动序列对环境的适应能力进行评估，在评估结果符合条件的情况下，从种群选择出一定数量的个体作为父体；并且判断是否满足循环终止条件，若满足，则跳转到S26，否则进入步骤S24；S24、根据步骤S23选择出的父体，对种群中的关节点运动序列进行基因表达式编程的交叉、变异操作；S25、对种群的关节点运动序列进行TIS插串操作，得到下一代种群个体，回到步骤S23；S26、输出模型，得到最优染色体所表示的函数表达式，即关节点的人体运动模型。更进一步的，步骤S21中函数符集F为：F＝{S，C，T，I，R，N，P，Q，E，A，G，L，B，D，F，H}其中函数符集F中的各元素代表含义如下：S表示正弦函数Sin，C表示余弦函数cos，T表示正切函数tan，I表示反正弦函数asin，R表示反余弦函数acos，N表示反正切函数atan，P表示幂函数pow，Q表示平方根函数sqrt，E表示自然数为底的指数函数exp，A表示绝对值函数abs，G表示符号函数sign，L表示自然对数函数ln，B表示以10为底的对数函数lg，D表示双曲正弦函数sinh，F表示双曲余弦函数cosh，H表示双曲正切函数tanh；步骤S21中所述终结符集包括多维终结字符以及常数终结字符集；其中多维终结字符T为：T＝{a，b，c，d，e，f，g，h，i}；其中多维终结符集T中的各元素分别代表多维变量中每个自变量，在检验人体运动模型时将各变量所对应的实际值代入人体运动模型中；其中常数终结符集C为：C＝{1000，-1000}。优选的，其特征在于，TIS插串操作的过程如下：当关节点运动序列有效长度m＝1时，即关节点运动序列的根位置是一个常数，此时，从关节点运动序列根位置开始到第[L/4]位变异为随机得来的函数符串；其中[L/4]表示L/4取整数部分，L为关节点运动序列的长度；同时关节点运动序列头部的其它字符依次后移，超出头部长度的字符串删除；其中L为关节点运动序列的长度，h为关节点运动序列头部的长度；当关节点运动序列效长度1<m<h时，在关节点运动序列有效位的最后一个函数符后面插入h-m个随机得来的函数符串，关节点运动序列头部插入点后的其他字符依次后移，超出头部长度的字符串删除。优选的，所述步骤S3中，对于各关节点Ji(i＝1,2...,N)，N为样本中关节点的总数，记得到的人体运动模型为zi＝Fi(x,y,t)；步骤S3中提取人体运动模型的模型特征具体过程如下：等距地取k个时刻记为tj,j＝1,2,…,k；计算各关节点的梯度信息和i＝1,2,…,N；j＝1,2,…,k；其中分别表示第i个关节点在第tj时刻对应的x本文档来自技高网...

【技术保护点】
一种基于自反馈基因表达式编程的人体行为识别方法，其特征在于，步骤如下：S1、获取人体行为深度图像，然后从人体行为深度图像中分别提取出人体N个关节点各自对应的三维时间序列数据，作为一个样本；S2、利用自反馈基因表达式编程对样本进行建模，获取到样本对应的各关节点运动序列，从而得到各样本基于关节点的人体运动模型；其中所述自反馈基因表达式编程由基因表达式编程在交叉、变异操作后再加入TIS插串操作构造得到，其中TIS插串操作指的是在关节点运动序列头部插入函数符串，用于增加关节点运动序列有效位的长度增长；S3、提取人体运动模型的梯度信息作为模型特征；S4、通过步骤S1获取到训练样本集，并且各训练样本通过步骤S2的方式获取到各训练样本的人体运动模型，然后通过步骤S3的方式提取各训练样本的人体运动模型的模型特征；S5、各训练样本的人体运动模型的模型特征作为神经网络的输入，对神经网络进行训练，将训练得到的神经网络模型，作为最终的人体行为分类器；S6、通过步骤S1获取到测试样本，并且测试样本通过步骤S2的方式获取到测试样本的人体运动模型，然后通过步骤S3的方式提取测试样本的人体运动模型的模型特征；S7、将测试样本的人体运动模型的模型特征输入至步骤S5中获取到的人体行为分类器中，通过该人体行为分类器得到人体行为识别结果。...

【技术特征摘要】
1.一种基于自反馈基因表达式编程的人体行为识别方法，其特征在于，步骤如下：S1、获取人体行为深度图像，然后从人体行为深度图像中分别提取出人体N个关节点各自对应的三维时间序列数据，作为一个样本；S2、利用自反馈基因表达式编程对样本进行建模，获取到样本对应的各关节点运动序列，从而得到各样本基于关节点的人体运动模型；其中所述自反馈基因表达式编程由基因表达式编程在交叉、变异操作后再加入TIS插串操作构造得到，其中TIS插串操作指的是在关节点运动序列头部插入函数符串，用于增加关节点运动序列有效位的长度增长；S3、提取人体运动模型的梯度信息作为模型特征；S4、通过步骤S1获取到训练样本集，并且各训练样本通过步骤S2的方式获取到各训练样本的人体运动模型，然后通过步骤S3的方式提取各训练样本的人体运动模型的模型特征；S5、各训练样本的人体运动模型的模型特征作为神经网络的输入，对神经网络进行训练，将训练得到的神经网络模型，作为最终的人体行为分类器；S6、通过步骤S1获取到测试样本，并且测试样本通过步骤S2的方式获取到测试样本的人体运动模型，然后通过步骤S3的方式提取测试样本的人体运动模型的模型特征；S7、将测试样本的人体运动模型的模型特征输入至步骤S5中获取到的人体行为分类器中，通过该人体行为分类器得到人体行为识别结果。2.根据权利要求1所述的基于自反馈基因表达式编程的人体行为识别方法，其特征在于，所述步骤S1中使用微软体感设备Kinect结合第二代SDK以及OpenCV计算机视觉库获取人体行为深度图像；其中利用TOF(TimeOfFlight，飞行时间)技术，计算微软Kinect传感器中红外传感器发射的红外光线到达人体后反射的相位差，得到基于人体的人体行为深度图像；各个关节点对应的三维时间序列数据是以微软体感设备Kinect的红外传感器为原点所建立的空间直角坐标系得到的，该空间直角坐标系包括x轴、y轴和z轴，其中x轴正方向为平行于微软体感设备Kinect水平方向向左，y轴正方向为垂直于微软体感设备Kinect倾斜方向向上，z轴正方向为微软体感设备Kinect朝向方向。3.根据权利要求1所述的基于自反馈基因表达式编程的人体行为识别方法，其特征在于，所述步骤S1中N为25以上。4.根据权利要求1所述的基于自反馈基因表达式编程的人体行为识别方法，其特征在于，所述步骤S1中在获取到人体行为深度图像后，将人体行为深度图像中的人体与背景进行分割，然后转化为骨架追踪系统，从而获取人体的多个关节点三维时间序列数据。5.根据权利要求1所述的基于自反馈基因表达式编程的人体行为识别方法，其特征在于，所述步骤S2中自反馈基因表达式编程对样本进行建模，得到基于关节点的人体运动模型的具体过程如下：S21、确定人体运动模型所需的函数符集和终结符集以及终结符个数，并设定循环终止条件；S22、创建随机关节点运动序列初始种群，将各关节点运动序列表达为基因表达式树；关节点运动序列由函数符集和终结符集构成，终结符集中包括关节点三维时间序列数据中时间t以及关节点三维时间序列数据的坐标分量；S23、计算种群中各关节点运动序列的适应值，然后通过相对误差估计模型或绝对误差模型对种群中各关节点运动序列对环境的适应能力进行评估，在评估结果符合条件的情况下，从种群选择出一定数量的个体作为父体；并且判断是否满足循环终止条件，若满足，则跳转到S26，否则进入步骤S24；S24、根据步骤S23选择出的父体，对种群中的关节点运动序列进行基因表达式编程的交叉、变异操作；S25、对种群的关节点运动序列进行TIS插串操作，得到下一代种群个体，回到步骤S23；S26、输出模型，得到最优染色体所表示的函数表达式，即关节点的人体运动模型。6.根据权利要求5所述的基于自反馈基因表...

【专利技术属性】
技术研发人员：李康顺，何唯，胡绍阳，王晓珍，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：广东,44