基于人体姿态估计的帕金森症预警方法技术

本发明专利技术公开了一种基于人体姿态估计的帕金森症预警方法，包括：将监控视频分割为图片，所述图片输入特征提取网络ResNet

Parkinson's disease early warning method based on human posture estimation

【技术实现步骤摘要】
基于人体姿态估计的帕金森症预警方法


[0001]本专利技术涉及帕金森症预警
，具体涉及基于人体姿态估计的帕金森症预警方法。

技术介绍

[0002]帕金森病(Parkinson
’
s disease,PD)是一种常发生在中老年人身上的神经系统退行性疾病，其临床显著特征表现为震颤、动作迟缓、姿势平衡障碍的运动症状和睡眠障碍、嗅觉障碍的非运动症状。特别是走路时表现为前冲的步态,患者身体前倾、出现小碎步、越走越快,有时无法控制,容易跌倒从而导致外伤。到2030年，我国预计有500万人患有帕金森病症。随着疾病的发展，帕金森病不仅会影响患者本身的日常活动，还会带来庞大的社会和医疗负担。因此，能够及时发现帕金森患者对社会的发展具有重大意义。
[0003]现有帕金森症预测方法是观察被检测人的日常行为进行分析，主要包括：平衡测试，睡眠测试，穿衣能力测试等。此类方法需要大量医护人员的协助，居家时很难做到，并且存在准确性较差问题。因此做到及时、迅速、准确地发现帕金森的症状变得极其重要。

技术实现思路

[0004]本专利技术的目的在于，提出一种基于人体姿态估计的帕金森症预警方法，其提出Mask R
‑
CNN+GRU模型，用于预测人体姿态，提高了帕金森症估计的精准度。
[0005]为实现上述目的，本申请提出基于人体姿态估计的帕金森症预警方法，包括：
[0006]将监控视频分割为图片，所述图片输入特征提取网络ResNet
‑
50
‑/>FPN后得到特征图一，使用区域生成网络RPN获取多个目标建议框；
[0007]通过区域特征聚集方式RoIAlign对所述目标建议框进行区域池化，在每个感兴趣区域RoI中提取到小的特征图记为感兴趣区域特征图；
[0008]将所述感兴趣区域特征图输入到改进的Mask R
‑
CNN网络，所述Mask R
‑
CNN网络中卷积层进行特征提取操作得到特征图二，再利用基于注意力残差模块和数据旁路的支路一、基于混合空洞卷积全连接神经网络FCN的支路二分别进行深度特征提取；所述支路一与支路二提取的结果叠加后生成特征图三，所述特征图三先用反卷积进行分辨率复原，再进行两倍的线性插值上采样，获取骨骼关节点图；
[0009]所述骨骼关节点图输入到门控循环单元模型GRU中，该模型首先获取更新门z
t
，再获取重置门r
t
，其次是获取候选隐藏层通过重置门r
t
控制需要从前一时刻的隐藏层h
t
‑1中遗忘多少信息,通过更新门z
t
控制需要加入多少当前时刻的隐藏层信息，最后得到模型输出的分类概率分数h
t
。
[0010]进一步的，所述特征提取网络ResNet
‑
50
‑
FPN包括残差卷积网络ResNet和特征金字塔网络FPN，所述残差卷积网络ResNet的卷积层为50层；图片先输入到ResNet
‑
50网络中，所述ResNet
‑
50网络的输出结果送到FPN网络中，由FPN网络输出特征图一。
[0011]进一步的，所述区域特征聚集方式RoIAlign，具体是将所述目标建议框平均划分为四份，然后在这四份里面均匀的设计四个或九个采样点；RoIAlign通过双线性插值从目标建议框上相邻网格点得到每个采样点的值。
[0012]进一步的，改进的Mask R
‑
CNN网络包括五个相同的卷积层，每个卷积层设置64个1
×
1、步长为1的卷积核；该网络中支路一的输入处设有两个相同的注意力残差模块，其配合数据旁路连通网路中的前后层，将两个注意力残差模块进行连接和像素级的叠加，然后经过卷积层降低维度，输入至全连接层进行形状重塑得到与支路二尺寸一致的卷积层；所述支路二为三个空间卷积率不同的空洞卷积层一、空洞卷积层二及空洞卷积层三；将两个支路叠加后，对特征图三先用反卷积进行分辨率复原再进行两倍的线性插值上采样，输出最终的骨骼关节点信息，然后再与帕金森症患者的经典发病姿态进行对比，如果相似度大于0.5则启动计时器，若下一张特征图的相似度还是大于0.5则继续计时，若小于0.5则停止计时。
[0013]进一步的，所述注意力残差模块的输入为：
[0014]V∈R
H
×
W
×
C
[0015]其中R
H
×
W
×
C
为特征图二，H是图片高，W是图片宽，C是图片的通道；经过降维卷积层、空洞卷积层、升维卷积层后，学习到的权重为：
[0016]V'∈R
H
×
W
×
C
[0017]设学习的残差映射为b∈R1×1×
C/r
，所述注意力残差模块的输出为则有：
[0018][0019]其中C为输入的维度，r为降维的倍数，*表示空间上下文中的按元素相乘。
[0020]更进一步的，支路二中的空洞卷积有一个空洞卷积率，记作d，表示在卷积核中填充d
‑
1个0；所述空洞卷积的卷积核大小为：
[0021]n＝k+(k
‑
1)*(d
‑
1)
[0022]其中n为等效卷积核的尺寸，k代表实际卷积核尺寸；
[0023]更进一步的，所述特征图三宽度获取方式为：
[0024][0025]其中W为新的宽度，w为初始的宽度，p为填充的个数，s为步长。
[0026]更进一步的，所述更新门z
t
获取方式为：
[0027]z
t
＝σ(sum[W
z
·
y
t
‑1，W
z
·
x
t
])+b
f
[0028]其中，W
z
是更新门的权重矩阵，y
t
‑1表示上一时刻GRU网络输出值，b
f
是更新门的偏置项，σ是sigmoid函数，x
t
表示图像数据样本在t时刻的数据；
[0029]所述重置门r
t
获取方式为：
[0030]r
t
＝σ(sum[[W
r
·
y
t
‑1，W
r
·
x
r
]])+b
r
[0031]其中，W
r
是重置门的权重矩阵，y
t
‑1表示上一时刻GRU网络输出值，b
r
是重置门的偏置项，σ是sigmoid函数；
[0032]所述候选隐藏层获取方式为：
[0033][0034]其中，是候选隐藏层的权重矩阵，是候选隐藏本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于人体姿态估计的帕金森症预警方法，其特征在于，包括：将监控视频分割为图片，所述图片输入特征提取网络ResNet
‑
50
‑
FPN后得到特征图一，使用区域生成网络RPN获取多个目标建议框；通过区域特征聚集方式RoIAlign对所述目标建议框进行区域池化，在每个感兴趣区域RoI中提取到的特征图记为感兴趣区域特征图；将所述感兴趣区域特征图输入到改进的Mask R
‑
CNN网络，所述Mask R
‑
CNN网络中卷积层进行特征提取操作得到特征图二，再利用基于注意力残差模块和数据旁路的支路一、基于混合空洞卷积全连接神经网络FCN的支路二分别进行深度特征提取；所述支路一与支路二提取的结果叠加后生成特征图三，所述特征图三先用反卷积进行分辨率复原，再进行两倍的线性插值上采样，获取骨骼关节点图；所述骨骼关节点图输入到门控循环单元模型GRU中，该模型首先获取更新门z
t
，再获取重置门r
t
，其次是获取候选隐藏层通过重置门r
t
控制需要从前一时刻的隐藏层h
t
‑1中遗忘多少信息,通过更新门z
t
控制需要加入多少当前时刻的隐藏层信息，最后得到模型输出的分类概率分数h
t
。2.根据权利要求1所述基于人体姿态估计的帕金森症预警方法，其特征在于，所述特征提取网络ResNet
‑
50
‑
FPN包括残差卷积网络ResNet和特征金字塔网络FPN，所述残差卷积网络ResNet的卷积层为50层；图片先输入到ResNet
‑
50网络中，所述ResNet
‑
50网络的输出结果送到FPN网络中，由FPN网络输出特征图一。3.根据权利要求1所述基于人体姿态估计的帕金森症预警方法，其特征在于，所述区域特征聚集方式RoIAlign，具体是将所述目标建议框平均划分为四份，然后在这四份里面均匀的设计四个或九个采样点；RoIAlign通过双线性插值从目标建议框上相邻网格点得到每个采样点的值。4.根据权利要求1所述基于人体姿态估计的帕金森症预警方法，其特征在于，改进的Mask R
‑
CNN网络包括五个相同的卷积层，每个卷积层设置64个1
×
1、步长为1的卷积核；该网络中支路一的输入处设有两个相同的注意力残差模块，其配合数据旁路连通网路中的前后层，将两个注意力残差模块进行连接和像素级的叠加，然后经过卷积层降低维度，输入至全连接层进行形状重塑得到与支路二尺寸一致的卷积层；所述支路二为三个空间卷积率不同的空洞卷积层一、空洞卷积层二及空洞卷积层三；将两个支路叠加后，对特征图三先用反卷积进行分辨率复原再进行两倍的线性插值上采样，输出最终的骨骼关节点信息，然后再与帕金森症患者的经典发病姿态进行对比，如果相似度大于0.5则启动计时器，若下一张特征图的相似度还是大于0.5则继续计时，若小于0.5则停止计时。5.根据权利要求1或4所述基于人体姿态估计的帕金森症预警方法，其特征在于，所述注意力残差模块的输入为：V∈R
...

【专利技术属性】
技术研发人员：秦静，陈雨龙，汪祖民，刘燕，韩悦，季长清，
申请(专利权)人：大连大学，
类型：发明
国别省市：