一种基于多特征融合的手指灵活检测方法技术

本发明专利技术公开的一种基于多特征融合的手指灵活性检测方法，首先利用置于手部运动垂直上方的RGB相机拍摄正常人和有手部功能障碍的人在设计好的游戏环境下运动的敲击键盘的手部运动视频，然后再将视频提取成视频帧，经过OpenPose模型得到手部21个关节点的坐标，然后根据敲击键盘的时间序列得到手指敲击键盘前后瞬间的视频帧集合，然后计算手指运动的角度变化和角速度，然后计算正常人和有手部功能障碍人敲击键盘每个手指的准确率，最后将平均角速度和手指敲击键盘的准确率融合，通过SVM训练，判断并分类出手指灵活性较差的人群。本发明专利技术通过采集手部运动特征，得到手指灵活性检测模型，判断并分类出手指灵活性较差的人群，其分类的准确率在75％以上。分类的准确率在75％以上。分类的准确率在75％以上。

【技术实现步骤摘要】
一种基于多特征融合的手指灵活检测方法


[0001]本专利技术属于图像处理
，涉及一种基于多特征融合的手指灵活性的检测方法。

技术介绍

[0002]随着社会的快速发展，生活水平的不断提高，手部运动能力在生活中扮演着极其重要的角色，手部运动能力严重的影响着我们正常的学习和生活。手指灵活性的好坏是衡量人体手部运动能力、保证人体正常运动的生理机能的重要指标。除此之外，手部运动能力的好坏也是反映国民身体素质的重要指标。通常手部功能障碍是帕金森综合征或者中风等疾病的表现之一，尽管现在的康复训练可以帮助患者恢复手部功能，但是康复训练之后如何测试手指灵活性是一个很难攻克的难题。
[0003]评估手部运动能力一般分为观察法、量表测量法，其他方法以及基于计算机视觉的方法，其中观测方法其主观性比较强；量表测量法存在许多不确定性，受外界影响大，用打分评估手部功能，说服力不大；随着计算机硬件的发展许多研究人员将数据手套、传感器等专用设备与传统的量表和机器学习方法结合起来用于评估手部功能。它的缺点是需要专用设备，其费用之高。基于视觉的方法使用深度学习获取手部运动信息，不需要使用专用设备获取手部运动信息，以上的这些方法都都有一个共同的缺点就是只能提供手部功能的总体测量方法，而不能全面评估手指的灵活性。
[0004]不管是传统的方法还是利用计算机技术来进行评估手部运动能力，获取手部运动数据一般分为利用专用设备获取数据和利用图像处理技术来获取数据，专用设备费用昂贵，不易操作，容易受到设备的影响。但是随着图像处理技术和深度学习的发展，计算机视觉也可以用来获取部分手部运动数据，应用于手部运动迟缓评估。
[0005]专利技术的内容
[0006]本专利技术的目的是提供一种手指灵活性检测的方法，解决了现存方法中只能提供手指灵活性的总体测量方法的缺点。
[0007]本专利技术所采用的技术方案是，一种基于多特征融合的手指灵活性的检测方法，包括以下步骤：
[0008]步骤1、利用RGB相机拍摄正常人和有手部功能障碍的人在设计好的游戏环境下运动的敲击键盘的手部运动视频；
[0009]步骤2、在手指运动的同时记录下手指敲击键盘的时间序列并根据时间序列得到手指敲击键盘前后瞬间的视频帧集合；
[0010]步骤3、将采集到的视频分别提取成图像，将提取的图像作为输入输入到OpenPose中得到手部关节的坐标点集合；
[0011]步骤4、根据步骤2和步骤3得到的结果，计算正常人和有手部功能障碍人的手部手指运动的角速度；
[0012]步骤5、计算正常人和有手部功能障碍人敲击键盘每个手指的准确率；
[0013]步骤6、将步骤4得到的角速度和步骤5得到的准确率融合，通过SVM训练，得到手指灵活性检测模型，判断并分别出手部功能障碍的人群；
[0014]本专利技术的特点还在于：
[0015]步骤2具体包括以下步骤：
[0016]步骤2.1、利用程序记录RGB相机拍摄视频开始的时间T
S
和每个手指正确敲击键盘瞬间的时间序列T
I
、T
M
、T
R
、T
L
，并存储到MYSQL数据库中；
[0017]步骤2.2、利用公式T
span
＝T
I
‑
T
S
计算四个手指所对应的时间间隔；
[0018]步骤2.3、计算每个视频帧相对于第一帧所对应的的时间间隔
[0019]步骤2.4、根据判断和T
span
是否相等，若相等，则将所对应的视频帧加入到视频帧集合I中；
[0020]步骤2.5、根据步骤2.4的方法求出食指、中指、无名指、小指敲击键盘瞬间的视频帧序列集合I
I
、I
M
、I
R
、I
L
；
[0021]步骤2.6、根据步骤2.5得到的视频帧集合，从提取的视频帧集合I
C
中得到视频帧I
i
中每一帧所对应的前n帧,基于帧间差分的平均强度最大值的方法的到差分结果最大的视频帧，作为敲击键盘瞬间的前一时刻的视频帧；
[0022]步骤2.7、重复步骤2.6得到四个手指的敲击键盘瞬间的前一时刻的视频帧I
IPro
、I
MPro
、I
RPro
、I
LPro
；
[0023]步骤3具体包括以下步骤：
[0024]步骤3.1、将所有拍摄的视频提取成视频帧集合I
C
；
[0025]步骤3.2、将视频帧集合I
C
输入到OpenPose中得到I
C
中每一帧的手部关节点坐标，得到一个坐标点集合C；
[0026]步骤4具体包括以下步骤：
[0027]步骤4.1、根据I
I
、I
IPro
以及食指关节标记从集合C中得到食指关节的坐标点，并存在Excel中；
[0028]步骤4.2、重复步骤4.1得到中指、无名指、小指的坐标点；
[0029]步骤4.3、根据如下公式计算食指运动前后的角度变化；
[0030][0031]其中θ为角度变化，(x1,y1)、(x3,y3)为掌指骨关节的坐标，(x2,y2)、(x4,y4)为远端指骨关节坐标，π为圆周率。
[0032]步骤4.4、重复步骤4.3计算其他三个手指运动前后的角度变化；
[0033]步骤4.5、根据以下公式计算食指运动的角速度；
[0034][0035]其中ω为角速度，θ为角度变化,i∈I
IPro
、j∈I
I
，表示前后两帧图片的时间间隔。
[0036]步骤4.6、重复步骤4.5计算其他三个手指的角速度；
[0037]步骤4.7、计算食指、中指、无名指、小指角速度的平均值；
[0038]步骤5具体包括以下步骤：
[0039]步骤5.1、根据对敲击键盘时所作的规定让4个手指敲击键盘的指定区域，记录下手指敲击键盘时每个区域中按键被按下的按键集合并存入MySql中；
[0040]步骤5.2、手指正确按下的按键从游戏环境中得到，并存入MySql中；
[0041]步骤5.3、从MySql中取出每个手指按下按键的集合以及手指正确按下按键的集合并分别统计其个数M和N；
[0042]步骤5.4、根据如下公式计算食指敲击键盘的准确率A；
[0043][0044]其中，M表示每个手指正确敲击键盘的次数、N表示每个手指敲击键盘的总次数。
[0045]步骤5.5、重复步骤5.1
‑
5.4计算其他三个手指敲击键盘的准确率A；
[0046]步骤6具体包括以下步骤：
[0047]步骤6.1、将步骤4和步骤5得到的手指运动角速度平均值和敲击键盘的准本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多特征融合的手指灵活性的检测方法，其特征在于，包括以下步骤：步骤1、利用RGB相机拍摄正常人和有手部功能障碍的人在设计好的游戏环境下运动的敲击键盘的手部运动视频；步骤2、在手指运动的同时记录下手指敲击键盘的时间序列并根据时间序列得到手指敲击键盘前后瞬间的视频帧集合；步骤3、将采集到的视频分别提取成图像，将提取的图像作为输入数据输入到OpenPose中得到手部关节的坐标点集合；步骤4、根据步骤2和步骤3得到的结果，计算正常人和有手部功能障碍人的手部手指运动的角速度；步骤5、计算正常人和有手部功能障碍人敲击键盘每个手指的准确率；步骤6、将步骤4得到的角速度和步骤5得到的准确率融合，通过SVM训练，得到手指灵活性检测模型，判断并分别出手部功能障碍的人群。2.根据权利要求1所述一种基于多特征融合的手指灵活性的检测方法，其特征在于，所述步骤2具体包括以下步骤：步骤2.1、利用程序记录RGB相机拍摄视频开始的时间T
S
和食指、中指、无名指、小指正确敲击键盘瞬间的时间序列T
I
、T
M
、T
R
、T
L
，并存储到MYSQL数据库中；步骤2.2、利用公式T
span
＝T
I
‑
T
S
计算四个手指所对应的时间间隔；步骤2.3、计算每个视频帧相对于第一帧所对应的的时间间隔步骤2.4、根据判断和T
span
是否相等，若相等，则将所对应的视频帧加入到视频帧集合I中；步骤2.5、根据步骤2.4的方法求出食指、中指、无名指、小指敲击键盘瞬间的视频帧序列集合I
I
、I
M
、I
R
、I
L
；步骤2.6、根据步骤2.5得到的视频帧集合，从提取的视频帧集合I
C
中得到视频帧I
i
中每一帧所对应的前n帧,基于帧间差分的平均强度最大值的方法的到差分结果最大的视频帧，作为敲击键盘瞬间的前一时刻的视频帧；步骤2.7、重复步骤2.6得到食指、中指、无名指、小指的敲击键盘瞬间的前一时刻的视频帧I
IPro
、I
MPro
、I
RPro
、I
LPro
。3.根据权利要求1所述一种基于多特征融合的手指灵活性的检测方法，其特征在于，所述步骤3具体包括以下步骤：步骤3.1、将所有拍摄的视频提取成视频帧集合I
C
；步骤3.2、将视频帧集合I
C
输入到OpenPose中得到I
C
...

【专利技术属性】
技术研发人员：金海燕，任严，潘志庚，肖照林，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：