基于深度学习的无察觉式脑卒中患者手部动作识别方法技术

本发明专利技术属于健康检测技术领域，具体为一种基于深度学习的无察觉式脑卒中患者手部动作识别方法。本发明专利技术方法包括：患者手部动作的采集，手部动作设计为三大类17小类，使用非接触式Kinect传感器采集患者手部动作数据；对采集的数据进行预处理，用于模型训练和预测；采用三种深度学习模型TSN、I3D和Slowfast进行训练和预测，最后将三种模型预测结果进行融合，得到最终预测结果。本发明专利技术为脑卒中上肢精细动作活动识别提供了有效的解决方案，不再需要复杂繁琐的可穿戴式设备采集电信号，而是通过基于视觉的方式，更加便捷地识别脑卒中患者上肢活动，便于评估脑卒中患者恢复水平。便于评估脑卒中患者恢复水平。便于评估脑卒中患者恢复水平。

【技术实现步骤摘要】
基于深度学习的无察觉式脑卒中患者手部动作识别方法


[0001]本专利技术属于健康检测
，具体涉及无察觉式脑卒中患者手部动作识别方法。

技术介绍

[0002]脑卒中已经成为最常见的神经系统疾病。世界卫生组织进行的一项综合研究表明，全世界每年约有1500万人患有脑卒中，其中约50％的人经历身体一侧行为能力减弱，极大地降低了患者的日常生活活动能力[1]。通过个性化的治疗能够帮助脑卒中患者更快更好地康复。传统治疗方案需要专业医师针对病人情况制定相应的康复方案，然而制定这些方案需要花费大量时间和资源来收集个性化指标，费时费力。脑卒中康复研究的最新方向一直集中在便携式和个性化康复系统的开发上[2]，这样的系统可以为患者提供低成本、便捷的有针对性的居家监测，也有利于医师随时了解患者情况并及时调整相应的康复方案。其中，日常行为活动识别是一项重要的监测指标。几十年来，临床上主要由经验丰富且训练有素的康复医生根据标准的运动质量评估方案对患者的运动进行评估[3]，判断患者动作类型并给出相应评价。这些基于专业医师监测进行运动评估的方法多依赖于评估者的个人经验，主观人为因素影响较大且耗时较长。而且，临床常用的评估量表或等级跨度较大或评价内容较粗略，无法识别细微的动作功能改善。因此，能够为患者提供的功能改善信息极其有限，在一定程度上会打击患者的康复积极性。
[0003]近年来，基于可穿戴设备的运动跟踪评估已经被广泛应用[4]，但由于偏瘫后患者活动能力下降，脑卒中病人在佩戴这些可穿戴设备上存在一定的困难。此外，这种系统的复杂设置和操作程序对于脑卒中患者来说可能也难以正确使用。可穿戴设备在一定程度上可能会对病人身心造成影响，不利于后续康复治疗。因此非接触式的设备例如视频数据已被广泛研究用于活动识别。这些年，计算能力的进步和传感器技术的发展，引入了各种模态数据，包括RGB数据，深度数据和骨骼数据。机器学习是经典活动识别的方法，并得到了广泛运用。它需要将输入视频编码，然后手工提取特征，最后送到分类器处理以输出动作的类[5]。但机器学习的方法存在手工设计特征十分复杂，且人为因素干预较大的缺点。因此，深度学习近年来得到了更加广泛的关注。
[0004]在现有的深度学习模型中，三维卷积神经网络(3DCNN)与双流卷积网络(Two Stream)在动作分类中有良好的表现。他们通常使用现有的大型公开数据集进行训练，例如UCF
‑
101数据集，HMDB
‑
51数据集和Kinetics数据集。然而，由于脑卒中患者偏侧肢体肌力下降，能够配合治疗的动作类别少且差异较小，所做的动作幅度也比正常人要小；另外，由于痉挛的发生，脑卒中患者还会表现出异常的动作模式。因此这些公开数据集不能很好的训练出能够识别患者动作的网络。制作相应脑卒中患者行为活动数据集变得十分有必要。

技术实现思路

[0005]本专利技术的目的在于提供一种基于深度学习的无察觉式脑卒中患者手部动作识别
方法。
[0006]本专利技术提供的基于深度学习的无察觉式脑卒中患者手部动作识别方法，包括采集视频数据，运用深度学习算法对视频数据进行分类预测，简化脑卒中患者行为活动识别流程，提高识别准确率。
[0007]本专利技术提供的基于深度学习的无察觉式脑卒中患者手部动作识别方法，具体步骤如下。
[0008](1)数据采集
[0009]由于上肢和手的精细运动和灵巧性运动对于日常生活极为重要，而当前临床上很少有针对性的准确反映运动变化的评估量表，因此本专利技术选择脑卒中患者手部动作作为分类任务，特别设计了17种类型的动作，涉及手腕动作、手指动作、握拳摊掌等，旨在全方位测试脑卒中患者上肢肌肉恢复水平；一个手势分为两组，一组做三次，每次动作持续5秒钟，为避免肌肉疲劳，每次动作做完后有5秒钟的休息时间。做完十类动作之后会有休息时间，待患者身心得到完全休息再进行后续动作。旨在全方位测试脑卒中患者上肢肌肉恢复水平。收集到的数据可用于行为活动分析。
[0010]其中，所述17种手势动具体如下：将手部放松且水平自然放置作为动作起始状态，17种动作具体表现为：(0)手腕朝向胸腔弯曲，(1)手腕远离胸腔弯曲，(2)手腕向上弯曲，(3)手腕向下弯曲，(4)手腕逆时针旋转，(5)手腕顺时针旋转，(6)握拳，(7)五指伸直，(8)大拇指食指对捏，(9)中指无名指小拇指伸直，(10)食指中指无名指伸直，(11)仅食指伸直，(12)伸出大拇指，(13)伸出大拇指食指，(14)伸出食指中指，(15)伸出除大拇指外其他四指，(16)大拇指食指中指三指对捏；具体参见图1所示。其中，第(4)、(5)种，是患者偏瘫为右手，若患者偏瘫侧为左手，则旋转方向相反。
[0011]本专利技术中，数据采集使用非接触式Kinect传感器；所述Kinect传感器搭载有100万像素高级深度摄像头、360
°
麦克风阵列、1200万像素全高清摄像头和方向传感器，可同时采集RGB、深度、声音三个通道的数据；Azure Kinect DK提供多个开发工具包(SDK)，可以通过USB与终端电脑连接，手动设置每个传感器流。根据行为识别任务的特点，并且对除患者动作本身之外的其他场景没有过多要求，因此摄像头分辨率设置为720p，帧率设置为15fps，采集视频数据，采集到的数据通过USB传输储存在外部设备中，以便异地传输，用于行为活动识别任务。
[0012]本专利技术共采集到1610个有效视频子集，即本专利技术最终数据集包含1610个动作。将数据集按照图1动作标签标记后，参与后续训练。
[0013](2)数据预处理
[0014]数据处理过程主要包括数据分割、数据清洗两个过程。
[0015]数据分割，主要是将采集到的数据按照模型的输入要求进行细分，以便于后续数据清洗后进行打标签以及模型的训练。将采集到的长视频数据先按照动作一次动作为一个视频子集分割，每次动作分为三个状态，起始状态(放松状态)、动作持续状态、结束状态(放松状态)。
[0016]由于在采集过程中，存在硬件设施或者视频解码过程的问题，有一些数据存在损坏；此外，被试患者在数据采集过程中存在由于患者认知、听力、不能正确理解指令造成的错误、失误的动作。此两类数据在本专利技术的研究过程中不能参与训练分析，应当及时清洗剔
除；另外，由于患者由于肌力不足或者痉挛等主观不可控因素造成的动作做错，比如动作启动缓慢，动作幅度不足，或者存在主动肌肉以外其他肌肉异常收缩放电等，这种数据是有用数据，应该保留用于后续参与训练。
[0017](3)采用三种深度学习模型，并将三种模型进行融合
[0018]本专利技术采用当前主流视频理解深度学习算法，选取三种主流视频理解领域模型进行训练与测试，探究脑卒中视频行为活动识别的可行性。三种深度学习模型分别为：
[0019](1)TSN(Temporal Segment Networks)[6]，采用两种输入流(视频流与光流)来处理时序问题；所谓光流，是由物体或照相机的运动引起的两个连续本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的无察觉式脑卒中患者手部动作识别方法，其特征在于，具体步骤如下：（1）数据采集数据采集的对象是式脑卒中患者手部动作，包括手腕动作、手指动作、握拳摊掌三大类，共17种动作；一个手势分为两组，一组做三次，每次动作持续5秒钟；所述17种手势动具体如下：（0）手腕朝向胸腔弯曲，（1）手腕远离胸腔弯曲，（2）手腕向上弯曲，（3）手腕向下弯曲，（4）手腕逆时针旋转，（5）手腕顺时针旋转，（6）握拳，（7）五指伸直，（8）大拇指食指对捏，（9）中指无名指小拇指伸直，（10）食指中指无名指伸直，（11）仅食指伸直，（12）伸出大拇指，（13）伸出大拇指食指，（14）伸出食指中指，（15）伸出除大拇指外其他四指，（16）大拇指食指中指三指对捏；其中，第（4）、（5）种，是患者偏瘫为右手，若患者偏瘫侧为左手，则旋转方向相反；（2）数据预处理数据预处理包括数据分割、数据清洗两个过程；数据分割，是将采集到的数据按照模型的输入要求进行细分，以便于后续数据清洗、进行打标签以及模型的训练；将采集到的长视频数据先按照动作一次动作为一个视频子集分割，每次动作分为三个状态，起始状态、动作持续状态、结束状态；数据清洗，是将采集过程中有损坏的数据，以及被试患者在数据采集过程中由于认知、听力、不能正确理解指令造成的错误、失误的动作的数据，清洗剔除；（3）采用三种深度学习模型，并将三种模型进行融合采用视频理解深度学习算法，选取三种视频理解领域模型进行训练与测试，三种深度学习模型分别为：（1）TSN，采用视频流与光流两种输入流处理时序问题；所谓光流，是由物体或照相机的运动引起的两个连续帧之间图像物体的视运动的模式；它是2D向量场，其中每个向量都是位移向量，表示像素点从第一帧到第二帧的运动；TSN将视频分为多段，分别输入特征提取网络中；其中，将视频小段选取一帧做空间卷积，小段中每帧提取光流做时间卷积，然后得到时间和空间维度的语义信息，再经过类别分数融合得到最终的结果；（2）I3D，采用单一视频输入，3D卷积作为网络基本模块的方式，解决2D卷积预训练权重无法很好地扩展到3D卷积上的问题，并提供Kinetics数据集与众多在该大型数据集上预训练的权重；I3D中，用3D卷积代替图像处理中的2D卷积来处理时空特征，并且将预训练权重引入3D卷积中；I3D在所有卷积与全连接层之后加入BN层，且增加池化步长；I3D直接将2D卷积N
×
N的卷积核变成N
×
N
...

【专利技术属性】
技术研发人员：付淇，陈炜，孟龙，秦海波，张安静，陈晨，
申请(专利权)人：复旦大学，
类型：发明
国别省市：