一种面向弱标签传感器数据的人体动作识别方法技术

本发明专利技术公开了一种面向弱标签传感器数据的人体动作识别方法，步骤：利用传感器采集人体行为活动数据构成训练数据集，进行数据规范化处理，并添加对应的标签；将训练数据样本输入人体动作识别模型中，该模型包括卷积神经网络模块、循环神经网络模块和强化学习模块；针对含单次活动的弱标签传感器数据和含多次活动的弱标签传感器数据分别设计回报函数，并计算相应的reward值；对人体动作识别模型进行训练和优化；获取测试数据集，输入人体动作识别模型，测试模型的分类准确度。本发明专利技术通过每次处理弱标签传感器数据中的局部信息，在有限次数内快速地识别出特定的活动并且定位出活动发生的位置。

A Human Motion Recognition Method for Weak Label Sensor Data

【技术实现步骤摘要】
一种面向弱标签传感器数据的人体动作识别方法
本专利技术属于行为识别
，特别涉及了一种面向弱标签传感器数据的人体动作识别方法。
技术介绍
人类活动识别是人工智能和模式识别领域的一个研究热点。随着智能可穿戴设备研究的不断进步，基于可穿戴传感器的人类活动识别成为其中的重要研究方向之一。随着智能手机的普及和发展，如今的手机里配备了许多嵌入式传感器，如加速度计、陀螺仪和磁力计，可以为不同的场景生成不同的数据。利用前所未有的可穿戴传感器数据流，可以开发便携式人体活动识别，以促进我们的日常生活。目前人类活动识别最常用的方法是CNN(卷积神经网络)、RNN(循环神经网络)、LSTM(长短期记忆网络)和DeepConvLSTM(深度卷积循环神经网络)。其中，最经典的就是DeepConvLSTM(深度卷积循环神经网络)算法，其将每类传感器(身体加速度计、整体加速度计、陀螺仪)的三个坐标轴(XYZ)数据合并成一个数据矩阵，即(128,3)维，作为输入数据，每类传感器均创建一个DeepConvLSTM模型，每个模型通过3次CNN操作和3次LSTM操作，将数据抽象为128维的LSTM输出向量。其中，在CNN(卷积神经网络)的卷积单元中，通过连续3组卷积、BN(BatchNormalization)、MaxPooling(最大池化)的组合操作，将128维的数据转为了16维的高层特征，再执行一次Dropout。然后，在RNN(循环神经网络)的时序单元中，通过三次LSTM操作(隐含层神经元数设置为128个)，将16维的卷积特征转换为128维的时序特征，再执行Dropout操作。最后，将3个传感器的3个模型输出，合并为一个输入，再执行Dropout、全连接(Dense)、BN操作，最后使用Softmax函数，输出类别概率。该模型作为一个经典的模型，是很多其他领域论文里的实验参照。但是这些经典的人类活动识别方法，比如CNN(卷积神经网络)、LSTM(长短期记忆网络)、DeepConvLSTM(深度卷积循环神经网络)等均属于监督学习的方法，需要严格标记好的训练数据集，即每条传感器数据训练样本只包含一种人类活动，且整条数据样本都为该活动，不能包含其他无关的背景活动(比如标签为“跑步”的数据样本必须都为“跑步”这一活动，不能包含“走路”、“跳跃”等其他无关的活动)。然而这些严格标记好的训练样本都是通过人工手动加窗分割的，需要消耗大量的人力和物力。对于较长的弱标签传感器数据，这些方法会导致模型变得非常庞大，并且由于弱标签传感器数据中包含大量的无关背景活动信息，导致这些方法的准确性不高。
技术实现思路
为了解决上述
技术介绍
提出的技术问题，本专利技术提供了一种面向弱标签传感器数据的人体动作识别方法。为了实现上述技术目的，本专利技术的技术方案为：一种面向弱标签传感器数据的人体动作识别方法，包括以下步骤：(1)利用传感器采集人体行为活动数据构成训练数据集，进行数据规范化处理，并添加对应的标签；(2)将训练数据样本输入人体动作识别模型中，该模型包括卷积神经网络模块、循环神经网络模块和强化学习模块；(3)针对含单次特殊活动的弱标签传感器数据和含多次特殊活动的弱标签传感器数据分别设计回报函数，并计算相应的reward值；(4)对人体动作识别模型进行训练和优化；(5)获取测试数据集，输入人体动作识别模型，测试模型的分类准确度。进一步地，步骤(2)的具体过程如下：(201)对每条训练数据样本进行一个亚采样，将亚采样后的数据输入到卷积神经网络中，得到全局特征向量h0；一方面，将此特征向量h0作为网络的初始状态输入循环神经网络中进行编码，并通过强化学习模块输出初始观察位置预测l1；另一方面，将此特征向量h0输入到Softmax函数中，输出对应于真实标签的分类概率p0；(202)在上一步的预测位置l1附近取一小片数据样本，并输入卷积神经网络中提取特征，得到其特征向量g1；一方面，将此特征向量g1与全局特征向量h0相加，输入到Softmax函数中得到对应于真实标签的分类概率p1；另一方面，将此特征向量g1与上一步的位置预测通过一个RELU修正线性单元模块进行线性加和，输入到循环神经网络中，循环神经网络将当前输入的局部特征g1与之前的全局特征h0相结合，更新得到当前的全局特征h1，并将h1输入到强化学习模块，输出下一步待观察的位置预测l2；(203)重复步骤(202)，在执行完预先设置的步数T之后，将循环神经网络最终的全局特征输入Softmax分类器中，得到预测标签。进一步地，在步骤(3)中，针对含单次特殊活动的弱标签传感器数据，回报函数的设计方法如下：将第t步输出的分类概率pt与初始分类概率p0作对比，若p0≤pt，则该步reward值为1，否则为0。进一步地，在步骤(3)中，针对含多次特殊活动的弱标签传感器数据，回报函数的设计方法如下：将每步的预测位置附近窗口大小的小片数据样本位置放入一个集合中，在第t步，首先判断p0≤pt，若该不等式不成立，则该步的reward直接为0，若成立，再判断此步输出的预测位置lt+1是否包含在之前的位置集合{loc0,...,loct}中，若包含，则该步的reward为0.5，否则reward为1；其中loci是指(li-w_s,li+w_s)区间范围内的位置集合，w_s为窗口大小，0≤i≤t。进一步地，在步骤(4)中，模型优化的目标是最小化代价函数，代价函数包括分类的代价函数和强化学习的代价函数，具体如下：分类的代价函数为交叉熵函数，利用一组已知标签的数据样本优化分类器的参数，使交叉熵函数最小，根据下式计算出交叉熵C：其中，x表示样本，n表示样本的总数，y为期望输出，即活动的真实标签值，a为神经元实际输出，即预测的活动标签值，训练时将交叉熵对权重的偏导数反向传播，更新模型参数；强化学习的代价函数如下：L(θ)＝logπ(a|s,θ)·(R-b)其中，π(a|s,θ)为神经网络拟合的策略，θ为模型参数，logπ(a|s,θ)是在状态s下输出动作a的概率的对数似然，b为基线，为累积回报值，其中rt为每一步的reward值，再利用自适应矩估计Adam优化器反向更新模型参数，优化强化学习的代价函数，使代价函数最小化，reward值最大化。进一步地，在步骤(4)中，训练模型时，设置step为20000，样本总数为91266，每一个分批处理的样本数量为64，训练开始时的学习率为10-3，设置衰减因子λ，在每一次训练完全部样本之后，学习率按照衰减因子λ衰减，最终的学习率变为10-4。进一步地，其特征在于，在步骤(5)中，将得出的预测标签与测试数据集中的真实标签作对比，如果相同则正确预测样本数加1，最后用总的预测正确样本数除以预测样本总数，得到整个测试数据集的分类准确率。采用上述技术方案带来的有益效果：本专利技术是一种基于弱监督的，对传感器数据中存在的特殊活动进行识别和定位的人类活动识别方法，能够避免人工标注数据集的困难，实现在较长的传感器数据中定位出特殊活动发生的具体位置。与目前流行的基于CNN或者RNN的人类活动识别方法不同，本专利技术的方法基于弱监督学习，加入了循环注意力机制，引入了强化学习的训练方法，适应性更强，并且不需要对全部数据进行处理，而是通本文档来自技高网...

【技术保护点】
1.一种面向弱标签传感器数据的人体动作识别方法，其特征在于，包括以下步骤：(1)利用传感器采集人体行为活动数据构成训练数据集，进行数据规范化处理，并添加对应的标签；(2)将训练数据样本输入人体动作识别模型中，该模型包括卷积神经网络模块、循环神经网络模块和强化学习模块；(3)针对含单次特殊活动的弱标签传感器数据和含多次特殊活动的弱标签传感器数据分别设计回报函数，并计算相应的reward值；(4)对人体动作识别模型进行训练和优化；(5)获取测试数据集，输入人体动作识别模型，测试模型的分类准确度。

【技术特征摘要】
1.一种面向弱标签传感器数据的人体动作识别方法，其特征在于，包括以下步骤：(1)利用传感器采集人体行为活动数据构成训练数据集，进行数据规范化处理，并添加对应的标签；(2)将训练数据样本输入人体动作识别模型中，该模型包括卷积神经网络模块、循环神经网络模块和强化学习模块；(3)针对含单次特殊活动的弱标签传感器数据和含多次特殊活动的弱标签传感器数据分别设计回报函数，并计算相应的reward值；(4)对人体动作识别模型进行训练和优化；(5)获取测试数据集，输入人体动作识别模型，测试模型的分类准确度。2.根据权利要求1所述面向弱标签传感器数据的人体动作识别方法，其特征在于，步骤(2)的具体过程如下：(201)对每条训练数据样本进行一个亚采样，将亚采样后的数据输入到卷积神经网络中，得到全局特征向量h0；一方面，将此特征向量h0作为网络的初始状态输入循环神经网络中进行编码，并通过强化学习模块输出初始观察位置预测l1；另一方面，将此特征向量h0输入到Softmax函数中，输出对应于真实标签的分类概率p0；(202)在上一步的预测位置l1附近取一小片数据样本，并输入卷积神经网络中提取特征，得到其特征向量g1；一方面，将此特征向量g1与全局特征向量h0相加，输入到Softmax函数中得到对应于真实标签的分类概率p1；另一方面，将此特征向量g1与上一步的位置预测通过一个RELU修正线性单元模块进行线性加和，输入到循环神经网络中，循环神经网络将当前输入的局部特征g1与之前的全局特征h0相结合，更新得到当前的全局特征h1，并将h1输入到强化学习模块，输出下一步待观察的位置预测l2；(203)重复步骤(202)，在执行完预先设置的步数T之后，将循环神经网络最终的全局特征输入Softmax分类器中，得到预测标签。3.根据权利要求2所述面向弱标签传感器数据的人体动作识别方法，其特征在于，在步骤(3)中，针对含单次特殊活动的弱标签传感器数据，回报函数的设计方法如下：将第t步输出的分类概率pt与初始分类概率p0作对比，若p0≤pt，则该步reward值为1，否则为0。4.根据权利要求2所述面向弱标签传感器数据的人体动作识别方法，其特征在于，在步骤(...

【专利技术属性】
技术研发人员：何军，张倩，王立群，裴凌，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：江苏,32