【技术实现步骤摘要】
本专利技术属于计算机视觉，特别是涉及到一种基于时空图卷积网络的人体姿态视频的评估方法。
技术介绍
1、现有的自主康复评估手段种类繁多，传统的方法包括机器学习、卷积神经网络，但大多数不能实现具有高准确性的评估分数。它们通常仅限于行为分类或等级评定，导致无法对用户的肢体动作做出明确指导来帮助用户进行评估，从而影响评估的实际应用效果。
2、因此现有技术当中亟需要一种新型的技术方案来解决这一问题。
技术实现思路
1、本专利技术所要解决的技术问题是：提供一种基于时空图卷积网络的人体姿态视频的评估方法用于解决现有的自主康复评估手段通常仅限于行为分类或等级评定,不能实现具有高准确性的评估分数,无法对肢体动作做出明确指导的技术问题。
2、一种基于时空图卷积网络的人体姿态视频评估方法，包括以下步骤，并且以下步骤顺次进行；
3、步骤s1：获取人体姿态点云视频，将云视频中人体姿态识别的关键点数据进行预处理，并对云视频中受试者的关键点运动到位程度进行评分，将预处理后的关键点人体姿态数据与对应的评分值存储并构建人体姿态数据集；
4、步骤s2：使用改进的构建图邻接矩阵方法构建人体姿态数据集中的各个关键点之间的图结构关系并与预处理后的人体姿态数据合并形成新的数据集，新的数据集作为改进的时空图卷积网络stgcn的输入信号进行动作特征提取；
5、所述改进的时空图卷积网络stgcn简称为改进的stgcn模型，包括：
6、对时空图卷积网络stgcn
7、对时空图卷积网络stgcn的时空特征提取网络部分添加骨架预测网络进行关键点的时间序列预测；
8、步骤s3：利用人体姿态数据集对改进的stgcn模型进行训练，直至改进的stgcn模型达到低误差即高准确性的指标；
9、步骤s4：利用训练好的网络进行人体姿态视频的评估，并获得相应的评估分数的预测值。
10、所述步骤s1中的预处理为：将数据分为多个批次，且每个批次包含了100个时间步的四维特征向量n*t*v*c，n表示每个批次的大小，t表示每个样本的时间序列长度，v表示关键点数量，c表示特征通道数。
11、所述步骤s2中使用改进的构建图邻接矩阵方法构建人体姿态数据集中的关节点之间的图结构关系，具体步骤如下：
12、步骤s2-1-1，输入人体姿态数据集，将数据集中的关键点数据映射为图结构中的节点，并对这些节点进行划分；
13、步骤s2-1-2，进行节点划分改进；将节点的一个邻域划分为两个子集，第一个子集为节点本身与在空间位置上比本节点更靠近整个骨架重心的邻节点集合，第二个则为更远离骨架重心的邻节点集合，以此生成两个邻接矩阵；
14、步骤s2-1-3，对生成的两个邻接矩阵进行度数的平方根的倒数进行归一化，其中归一化公式如下：
15、
16、式中，a是图的邻接矩阵；d是图的度矩阵，其为一个对角矩阵；是度矩阵d的逆矩阵的平方根。
17、所述步骤s2中添加dropblockske层，得到优化的特征向量结果的具体方法为：
18、在输入张量上应用一个二值掩码mask来随机丢弃某些区域的特征来帮助模型防止过拟合，dropblockske的公式如下：
19、
20、mseed＝cast(random.u(tf.shape(input_abs))<input_abs_nor×gamma) (3-1)；
21、m＝matmul(mseed,a) (3-2)；
22、mask＝expand_dims(expand_dims(1-m,axis＝0),axis＝0) (4)；
23、
24、式(2)中，α是一个与关键点num_point有关的常数，本专利技术的关键点num_point个数为25个，则本专利技术中的α为1.92；keep_prob表示保留节点的概率；
25、式(3-1)中，input_abs为该层的输入的特征向量，表示图中节点的特征或属性；input_abs_norm是input_abs的归一化结果，用于确保不同特征或节点之间的值在相同的范围内；gamma是一个控制稀疏性的参数，由公式(2)计算得到的参数类型都是float32，最终生成一个二维掩码矩阵mseed；
26、式(3-2)中，m_seed是由公式(3-1)生成的稀疏掩码矩阵，matmul是矩阵乘法操作；m则表示mseed与a矩阵乘法得到的结果，是将m_seed扩展到图结构上；
27、式(4)中，1-m表示将m中的0变为1，1变为0，生成一个掩码矩阵；expand_dims(axis＝0)是在指定的维度上增加一个维度；mask则是最终生成的用于掩盖输入数据的掩码矩阵；
28、式(5)中iputs表示输入数据；size(mask)表示掩码的元素总数；reduce_sum(mask)表示掩码中非零元素的总数；output为dropblockske层的最终输出，通过输入数据与mask相乘，以实现块丢弃。
29、所述步骤s2中进行关键点的时间序列预测的具体步骤为：
30、将添加的骨架预测网络的输出用做自监督损失函数的输入，形成一个新的损失函数此损失函数由huber函数和mse函数构成，最小化此损失函数，以达到对时空特征提取网络的优化；
31、其中，骨架预测网络包含了lstm层、dropout层和timedistributed层；
32、所述损失函数的公式如下：
33、
34、其中，
35、式(6)中，encodedi表示当前时间步的预测关键点坐标值，seq_input_lti表示真实关键点坐标值；l(mse)表示均方误差，此处作为自监督损失函数；
36、式(7)中，lhuber表示huber损失函数，是传统模型评估使用的损失函数；表示评估分数的预测值；hi表示评估分数的真实值，来自于步骤s1中构建的人体姿态数据集中受试者的评分值；δ是一个阈值，用于控制损失函数的行为。
37、所述步骤s3中对改进的stgcn模型进行训练的过程中，时空特征提取网络部分和动作评估头网络部分的训练过程均用损失函数进行表示：
38、
39、通过上述设计方案，本专利技术可以带来如下有益效果：
40、1、本专利技术提供的图节点划分方式，针对图邻接矩阵的生成，加强了当前模型的节点划分方式所带来的图节点结构关系的连接关系，提高了模型评估的准确性。
41、2、本专利技术提供的dropblockske层，在模型进行时间卷积特征提取时能帮助模型防止过拟合，提高了模型评估的准确性。
42、3、本专利技术提供的联合损失函数将添加的骨架预测网本文档来自技高网...
【技术保护点】
1.一种基于时空图卷积网络的人体姿态视频评估方法，其特征是：包括以下步骤，并且以下步骤顺次进行，
2.根据权利要求1所述的一种基于时空图卷积网络的人体姿态视频评估方法，其特征是：所述步骤S1中的预处理为：将数据分为多个批次，且每个批次包含了100个时间步的四维特征向量N*T*V*C，N表示每个批次的大小，T表示每个样本的时间序列长度，V表示关键点数量，C表示特征通道数。
3.根据权利要求1所述的一种基于时空图卷积网络的人体姿态视频评估方法，其特征是：所述步骤S2中使用改进的构建图邻接矩阵方法构建人体姿态数据集中的关节点之间的图结构关系，具体步骤如下：
4.根据权利要求1所述的一种基于时空图卷积网络的人体姿态视频评估方法，其特征是：所述步骤S2中添加DropBlockSke层，得到优化的特征向量结果的具体方法为：
5.根据权利要求1所述的一种基于时空图卷积网络的人体姿态视频评估方法，其特征是：所述步骤S2中进行关键点的时间序列预测的具体步骤为：
6.根据权利要求1所述的一种基于时空图卷积网络的人体姿态视频评估方法，其特征是
...【技术特征摘要】
1.一种基于时空图卷积网络的人体姿态视频评估方法，其特征是：包括以下步骤，并且以下步骤顺次进行，
2.根据权利要求1所述的一种基于时空图卷积网络的人体姿态视频评估方法，其特征是：所述步骤s1中的预处理为：将数据分为多个批次，且每个批次包含了100个时间步的四维特征向量n*t*v*c，n表示每个批次的大小，t表示每个样本的时间序列长度，v表示关键点数量，c表示特征通道数。
3.根据权利要求1所述的一种基于时空图卷积网络的人体姿态视频评估方法，其特征是：所述步骤s2中使用改进的构建图邻接矩阵方法构建人体姿态数据集中的关节点之间的图结构关...
【专利技术属性】
技术研发人员：肖治国，梁文惠，陈显庆，戴文新，张冬，李长根，王珂，申奇，周洋帆，刘钱，
申请(专利权)人：长春大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。