一种基于改进ResNet与Bi-LSTM的行为识别方法技术

本发明专利技术属于应用图像行为识别技术领域，具体涉及一种基于改进ResNet与Bi

【技术实现步骤摘要】
一种基于改进ResNet与Bi
‑
LSTM的行为识别方法


[0001]本专利技术属于应用图像行为识别
，具体涉及一种基于改进ResNet与Bi
‑
LSTM的行为识别方法。

技术介绍

[0002]目前传统行为识别方法依赖人工特征工程,对于复杂条件下的数据如遮挡、背景杂乱、阴影光照差异等环境因素都会给图像特征提取带来困难,且二维图像数据处理方法无法很好的对3D数据进行有效的联合识别,导致识别效果较差。
[0003]存在问题或缺陷的原因：目前现有方式依赖人工对特征进行选取，智能化程度低，且方法的泛化性能及鲁棒性较弱，无法对3D数据进行有效分析，识别效果较差。

技术实现思路

[0004]针对上述方法传统行为识别方法智能化程度低、方法的泛化性能及鲁棒性较弱等问题，本专利技术提供了一种更好的对数据特征进行提取，对人体行为进行更好识别的方法。
[0005]为了解决上述技术问题，本专利技术采用的技术方案为：
[0006]一种基于改进ResNet与Bi
‑
LSTM的行为识别方法，包括下列步骤：
[0007]S100、标签处理：对UTKinectAction3D数据集的标签：走路、坐下、站起、捡起、抬起、扔、推、拉、挥手和拍手十类数据进行One
‑
Hot格式转换；
[0008]S200、数据预处理：对数据集分为训练集、验证集与训练集三部分；
[0009]S300、模型构建：将网络分为5个ResNet1模块、Bi
‑
LSTM网络、ResNet2模块、全连接网络四个部分；
[0010]S400、网络训练：对搭建好的网络使用训练集进行训练，完成参数模型的训练；
[0011]S500、网络验证：证验证网络损失值不再下降；
[0012]S600、模型评价：使用训练好的网络对测试集数据进行识别，计算准确率与召回率对网络识别效果进行评价。
[0013]所述标签处理中，将其下标index分别为0
‑
9，对数据标签进行转换。
[0014]所述数据预处理中，将人体20个关节、持续120帧的三通道数据以7：1：2的比例划分为数据训练集、验证集与测试集。
[0015]所述模型构建中，采用卷积层
‑
Average池化层
‑
BatchNormalization层
‑
激活层
‑
卷积层
‑
Max池化层
‑
BatchNormalization层
‑
激活层顺序组合方式组合5个包含两个卷积层、两个池化层、两个BatchNormalization层与两个激活层构成的ResNet模块构成ResNet1层。
[0016]所述模型构建中，采用一个前向LSTM与一个反向LSTM进行组合构建的双向LSTM网络构成Bi
‑
LSTM层，每个LSTM Cell设置包含遗忘门、输入门与输出门3个门控单元，前向LSTM对特征进行顺向处理，反向LSTM对特征进行逆向处理，再使用ADD方式对两个方向的LSTM提取到的特征进行结合。
[0017]所述模型构建中，采用卷积层
‑
BatchNormalization层
‑
激活层
‑
卷积层
‑
Max池化层
‑
BatchNormalization层
‑
激活层
‑
顺序组合方式组合3个ResNet模块构成ResNet2层。
[0018]所述模型构建中，全连接层为3层全连接，加入系数为0.5的DropOut防止过拟合发生，对全连接计算得到的结果使用Sigmoid进行输出，
[0019]所述网络训练中，采用Adam作为优化器，初始学习率为0.01，每100个epoch学习率衰减50％，batch size大小为64，使用softmax_cross_entropy作为损失函数，设定训练800个epoch，连续20个epoch模型损失值无下降则停止训练，保存模型。
[0020]所述网络验证中，使用验证集数据对训练的到的数据模型进行200个epoch的二次训练，若模型损失无下降，保存模型；若模型损失降低，将学习率设置为原来的0.5倍，使用训练集数据继续对模型进行训练，直到模型损失稳定。
[0021]本专利技术与现有技术相比，具有的有益效果是：
[0022]本专利技术使用改进的ResNet模块与Bi
‑
LSTM网络进行融合构建行为识别模型，使用不同结构的ResNet模块对数据特征进行提取，并利用Bi
‑
LSTM网络对连续帧数据特征进行了时域分析，更好的对数据特征进行了提取，可以对人体行为进行更好的识别。。
附图说明
[0023]图1本专利技术的系统模块ResNet1框图；
[0024]图2本专利技术的系统模块ResNet2框图；
[0025]图3本专利技术的网络结构图。
具体实施方式
[0026]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0027]一种基于改进ResNet与Bi
‑
LSTM的行为识别方法，如图1、2、3所示，包括下列步骤：
[0028]S100、标签处理：对UTKinectAction3D数据集的标签：走路、坐下、站起、捡起、抬起、扔、推、拉、挥手和拍手十类数据进行One
‑
Hot格式转换；
[0029]S200、数据预处理：对数据集分为训练集、验证集与训练集三部分；
[0030]S300、模型构建：将网络分为5个ResNet1模块、Bi
‑
LSTM网络、ResNet2模块、全连接网络四个部分；
[0031]S400、网络训练：对搭建好的网络使用训练集进行训练，完成参数模型的训练；
[0032]S500、网络验证：证验证网络损失值不再下降；
[0033]S600、模型评价：使用训练好的网络对测试集数据进行识别，计算准确率与召回率对网络识别效果进行评价。
[0034]进一步，步骤标签处理中，将其下标index分别为0
‑
9。即走路标签为[1，0，0，0，0，0，0，0，0，0]，以此类推，对数据标签进行转换。
[0035]进一步，步骤数据预处理中，将人体20个关节、持续120帧的三通道数据以7：1：2的
比例划分为数据训练集、验证集与测试集。其中训练集用于网络参数训练，验证集用于验证网络训练完全，测试集用于模型评价。
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进ResNet与Bi
‑
LSTM的行为识别方法，其特征在于：包括下列步骤：S100、标签处理：对UTKinectAction3D数据集的标签：走路、坐下、站起、捡起、抬起、扔、推、拉、挥手和拍手十类数据进行One
‑
Hot格式转换；S200、数据预处理：对数据集分为训练集、验证集与训练集三部分；S300、模型构建：将网络分为5个ResNet1模块、Bi
‑
LSTM网络、ResNet2模块、全连接网络四个部分；S400、网络训练：对搭建好的网络使用训练集进行训练，完成参数模型的训练；S500、网络验证：证验证网络损失值不再下降；S600、模型评价：使用训练好的网络对测试集数据进行识别，计算准确率与召回率对网络识别效果进行评价。2.根据权利要求1所述的一种基于改进ResNet与Bi
‑
LSTM的行为识别方法，其特征在于：所述S100标签处理中，将其下标index分别为0
‑
9，对数据标签进行转换。3.根据权利要求2所述的一种基于改进ResNet与Bi
‑
LSTM的行为识别方法，其特征在于：所述S200数据预处理中，将人体20个关节、持续120帧的三通道数据以7：1：2的比例划分为数据训练集、验证集与测试集。4.根据权利要求3所述的一种基于改进ResNet与Bi
‑
LSTM的行为识别方法，其特征在于：所述S300模型构建中，采用卷积层
‑
Average池化层
‑
BatchNormalization层
‑
激活层
‑
卷积层
‑
Max池化层
‑
BatchNormalization层
‑
激活层顺序组合方式组合5个包含两个卷积层、两个池化层、两个BatchNormalization层与两个激活层构成的ResNet模块构成ResNet1层。5.根据权利要求4所述的一种基于改进ResNet与Bi
‑
L...

【专利技术属性】
技术研发人员：潘晓光，焦璐璐，董虎弟，韩丹，马文芳，
申请(专利权)人：山西三友和智慧信息技术股份有限公司，
类型：发明
国别省市：