基于运动姿态变化的脑卒中患者康复效果评估系统技术方案

公开了一种基于运动姿态变化的脑卒中患者康复效果评估系统，其获取待评估患者的第一次运动监控视频和第二次运动监控视频；采用基于深度学习的人工智能技术，提取第一次运动监控视频和第二次运动监控视频中的运动姿势特征信息，并以待评估患者在不同预定时间点的运动姿势特征在高维特征空间中的特征分布差异表示待评估患者的运动能力变化，基于此得到脑卒中患者康复效果评估结果。这样，可以提高脑卒中患者康复效果评估结果的准确性。卒中患者康复效果评估结果的准确性。卒中患者康复效果评估结果的准确性。

【技术实现步骤摘要】
基于运动姿态变化的脑卒中患者康复效果评估系统


[0001]本申请涉及智能化评估
，且更为具体地，涉及一种基于运动姿态变化的脑卒中患者康复效果评估系统。

技术介绍

[0002]脑卒中(stroke)又称脑中风，是一种突然起病的脑血液循环障碍性疾病，分为缺血性脑卒中和出血性脑卒中，其中缺血性脑卒中大约占所有脑卒中的80％。脑卒中是严重危害我国中老年人生命与健康的主要疾病，其发病率、复发率、致残率、致死率极高，不仅危及患者的生命，同时该病也给患者家庭和社会带来沉重的经济负担。
[0003]在脑卒中患者的治疗方案中，需要结合药物和各种康复训练方案来进行综合治疗。但在治疗过程中，很难评估药物和康复训练的治疗效果，导致无法对药物治疗方案和康复训练方案进行评估和优化。
[0004]因此，期待一种优化的脑卒中患者康复效果评估系统。

技术实现思路

[0005]为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于运动姿态变化的脑卒中患者康复效果评估系统，其获取待评估患者的第一次运动监控视频和第二次运动监控视频；采用基于深度学习的人工智能技术，提取第一次运动监控视频和第二次运动监控视频中的运动姿势特征信息，并以待评估患者在不同预定时间点的运动姿势特征在高维特征空间中的特征分布差异表示待评估患者的运动能力变化，基于此得到脑卒中患者康复效果评估结果。这样，可以提高脑卒中患者康复效果评估结果的准确性。
[0006]根据本申请的一个方面，提供了一种基于运动姿态变化的脑卒中患者康复效果评估系统，其包括：
[0007]运动姿势监控模块，用于获取待评估患者的第一次运动监控视频和第二次运动监控视频；
[0008]采样模块，用于从所述第一次运动监控视频提取多个运动监控关键帧；
[0009]运动姿势特征提取模块，用于将所述多个运动监控关键帧通过作为运动姿势特征提取器的第一卷积神经网络模型以得到多个运动姿势特征矩阵；
[0010]特征矩阵展开模块，用于对所述多个运动姿势特征矩阵进行特征矩阵展开以得到多个运动姿势展开特征向量；
[0011]运动姿势语义理解模块，用于将所述多个运动姿势展开特征向量通过基于转换器的运动姿势语义理解模型以得到第一次运动姿势变化特征向量；
[0012]复用模块，用于通过所述作为运动姿势特征提取器的第一卷积神经网络模型和所述基于转换器的运动姿势语义理解模型，从所述第二次运动监控视频得到第二次运动姿势变化特征向量；
[0013]差分模块，用于计算所述第一次运动姿势变化特征向量和所述第二次运动姿势变
化特征向量之间的差分特征向量；
[0014]特征分布局部校正模块，用于对所述差分特征向量进行局部特征分布异常校正以得到优化差分特征向量；以及
[0015]评估结果生成模块，用于将所述优化差分特征向量通过分类器以得到分类结果，所述结果用于表示待评估患者的康复效果等级标签。
[0016]在上述基于运动姿态变化的脑卒中患者康复效果评估系统中，所述采样模块，用于以预定采样频率从所述第一次运动监控视频中提取多个运动监控关键帧。
[0017]在上述基于运动姿态变化的脑卒中患者康复效果评估系统中，所述运动姿势特征提取模块，进一步用于：使用所述作为运动姿势特征提取器的第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行卷积处理、沿通道维度的池化处理和非线性激活处理以由所述作为运动姿势特征提取器的第一卷积神经网络模型的最后一层输出所述多个运动姿势特征矩阵，其中，所述作为运动姿势特征提取器的第一卷积神经网络模型的第一层的输入为所述多个运动监控关键帧。
[0018]在上述基于运动姿态变化的脑卒中患者康复效果评估系统中，所述作为运动姿势特征提取器的第一卷积神经网络模型为深度残差网络模型。
[0019]在上述基于运动姿态变化的脑卒中患者康复效果评估系统中，所述特征矩阵展开模块，用于将所述多个运动姿势特征矩阵沿着行向量展开以得到所述多个运动姿势展开特征向量。
[0020]在上述基于运动姿态变化的脑卒中患者康复效果评估系统中，所述运动姿势语义理解模块，包括：上下文编码单元，用于使用所述基于转换器的运动姿势语义理解模型对所述多个运动姿势展开特征向量进行基于全局的上下文语义编码以得到多个全局运动姿势变化特征向量；以及，级联单元，用于将所述多个全局运动姿势变化特征向量进行级联以得到第一次运动姿势变化特征向量。
[0021]在上述基于运动姿态变化的脑卒中患者康复效果评估系统中，所述上下文编码单元，包括：向量构造子单元，用于将所述多个运动姿势展开特征向量进行一维排列以得到全局姿势展开特征向量；自注意子单元，用于计算所述全局姿势展开特征向量与所述多个运动姿势展开特征向量中各个运动姿势展开特征向量的转置向量之间的乘积以得到多个自注意力关联矩阵；标准化子单元，用于分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；关注度计算子单元，用于将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；以及，注意力施加子单元，用于分别以所述多个概率值中各个概率值作为权重对所述多个运动姿势展开特征向量中各个运动姿势展开特征向量进行加权以得到所述多个全局运动姿势变化特征向量。
[0022]在上述基于运动姿态变化的脑卒中患者康复效果评估系统中，所述差分模块，进一步用于：使用以下公式计算计算所述第一次运动姿势变化特征向量和所述第二次运动姿势变化特征向量之间的差分特征向量；其中，所述公式为：
[0023][0024]其中，V
d
表示所述差分特征向量，V1表示所述第一次运动姿势变化特征向量，V2表示所述第二次运动姿势变化特征向量，表示按位置减法。
[0025]在上述基于运动姿态变化的脑卒中患者康复效果评估系统中，所述特征分布局部校正模块，进一步用于：以如下公式对所述差分特征向量进行局部特征分布异常校正以得到优化差分特征向量；其中，所述公式为：
[0026][0027]其中，V是所述差分特征向量，||V||2表示所述差分特征向量的二范数，表示所述差分特征向量的二范数的平方，v
i
是所述差分特征向量V的第i个特征值，且v
i
′
是优化后的差分特征向量V
′
的第i个特征值，exp(
·
)表示向量的指数运算，所述向量的指数运算表示计算以矩阵中各个位置的特征值为幂的自然指数函数值。
[0028]在上述基于运动姿态变化的脑卒中患者康复效果评估系统中，所述评估结果生成模块，包括：全连接编码单元，用于使用所述分类器的多个全连接层对所述优化差分特征向量进行全连接编码以得到编码分类特征向量；以及，分类单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
[0029]与现有技术相比，本申请提供的基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于运动姿态变化的脑卒中患者康复效果评估系统，其特征在于，包括：运动姿势监控模块，用于获取待评估患者的第一次运动监控视频和第二次运动监控视频；采样模块，用于从所述第一次运动监控视频提取多个运动监控关键帧；运动姿势特征提取模块，用于将所述多个运动监控关键帧通过作为运动姿势特征提取器的第一卷积神经网络模型以得到多个运动姿势特征矩阵；特征矩阵展开模块，用于对所述多个运动姿势特征矩阵进行特征矩阵展开以得到多个运动姿势展开特征向量；运动姿势语义理解模块，用于将所述多个运动姿势展开特征向量通过基于转换器的运动姿势语义理解模型以得到第一次运动姿势变化特征向量；复用模块，用于通过所述作为运动姿势特征提取器的第一卷积神经网络模型和所述基于转换器的运动姿势语义理解模型，从所述第二次运动监控视频得到第二次运动姿势变化特征向量；差分模块，用于计算所述第一次运动姿势变化特征向量和所述第二次运动姿势变化特征向量之间的差分特征向量；特征分布局部校正模块，用于对所述差分特征向量进行局部特征分布异常校正以得到优化差分特征向量；以及评估结果生成模块，用于将所述优化差分特征向量通过分类器以得到分类结果，所述结果用于表示待评估患者的康复效果等级标签。2.根据权利要求1所述的基于运动姿态变化的脑卒中患者康复效果评估系统，其特征在于，所述采样模块，用于以预定采样频率从所述第一次运动监控视频中提取多个运动监控关键帧。3.根据权利要求2所述的基于运动姿态变化的脑卒中患者康复效果评估系统，其特征在于，所述运动姿势特征提取模块，进一步用于：使用所述作为运动姿势特征提取器的第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行卷积处理、沿通道维度的池化处理和非线性激活处理以由所述作为运动姿势特征提取器的第一卷积神经网络模型的最后一层输出所述多个运动姿势特征矩阵，其中，所述作为运动姿势特征提取器的第一卷积神经网络模型的第一层的输入为所述多个运动监控关键帧。4.根据权利要求3所述的基于运动姿态变化的脑卒中患者康复效果评估系统，其特征在于，所述作为运动姿势特征提取器的第一卷积神经网络模型为深度残差网络模型。5.根据权利要求4所述的基于运动姿态变化的脑卒中患者康复效果评估系统，其特征在于，所述特征矩阵展开模块，用于将所述多个运动姿势特征矩阵沿着行向量展开以得到所述多个运动姿势展开特征向量。6.根据权利要求5所述的基于运动姿态变化的脑卒中患者康复效果评估系统，其特征在于，所述运动姿势语义理解模块，包括：上下文编码单元，用于使用所述基于转换器的运动姿势语义理解模型对所述多个运动姿势展开特征向量进行基于全局的上下文语义编码以得到多个全局运动姿势变化特征...

【专利技术属性】
技术研发人员：王欣刚，官霞，
申请(专利权)人：河南中医药大学第一附属医院，
类型：发明
国别省市：