【技术实现步骤摘要】
本专利技术属于智慧医疗领域，具体地，涉及一种基于图像信息的共济失调判断方法及系统。
技术介绍
1、目前，在患者脑卒中发作后，共济失调的诊断主要依赖于临床医生的经验和患者的体征表现，如通过病人的行走方式、指鼻试验或完成特定任务的能力来判断。通过临床人工诊断的方法存在一定的主观性，且在早期阶段难以准确诊断。此外，常规的监测系统虽能记录患者的行为模式，但在数据处理和实时反馈方面存在延迟，难以实现对共济失调症状的实时监控和识别。
2、现有技术中，专利文献《一种基于激光雷达的运动障碍监测装置》(cn118078267a)公开的这种高精度运动障碍监测装置，虽然可以从场景中定位运动障碍患者位置，监测其运动轨迹，但有着极高的硬件要求，难以普及，且缺乏交互性，实时性。
3、专利文献《基于深度学习的无察觉式脑卒中患者手部动作识别方法》(cn115311737a)公开的识别方法目的是通过手部动作的识别评估脑卒中患者上肢的恢复情况，使用kinect传感器等非接触式设备来采集患者的手部动作数据，进行基于视觉的动作识别。而本专利技术针对共济失调的诊断进行相应的数据采集，基于图像的深度学习算法分析动作的精准度和连贯性。
技术实现思路
1、针对现有技术中的缺陷，本专利技术的目的是提供一种基于图像信息的共济失调判断方法及系统。
2、根据本专利技术提供的一种基于图像信息的共济失调判断方法，包括：
3、步骤s1：在小程序前端显示指导视频，引导动作；
4、步骤s
5、步骤s3：分帧处理指鼻动作视频，提取出每一帧图片；
6、步骤s4：对每一帧图片定位关键点信息并分析，得到位置关系；
7、步骤s5：根据位置关系，判断指鼻动作准确连贯性，得到判断结论；
8、步骤s6：将判断结论返回至小程序页面并详细说明。
9、优选地，所述指导视频为指鼻试验动作要求及注意事项讲解指导视频，指引用户分别用左右手规范完成指鼻动作。
10、所述步骤s2中使用普通摄像头或移动设备自带的摄像头来录制指鼻动作视频。
11、所述步骤s3中将上传至云平台的视频流分帧处理，将视频分解为单独的帧。
12、所述步骤s6中将云平台分析得到的判断结论返回至小程序页面，提供详细的解释说明。
13、优选地，所述步骤s4中采用开源的姿态估计算法框架，从2d的每一帧图片中提取关键点，并输出这些关键点在图像中的二维坐标(x，y)，手部位移shand。
14、分析面部与手部之间的相对位置关系和相邻时间段内距离随时间变化的关系，通过几何计算和时间序列分析将关键点相对位置关系转换为相应的运动模式，形成一个时间序列函数，欧几里得距离
15、手部移动速度
16、其中，xface(t)表示t时刻面部关键点的x轴坐标；
17、yface(t)表示t时刻面部关键点的y轴坐标；
18、xhand(t)表示t时刻手部关键点的x轴坐标；
19、yhand(t)表示t时刻手部关键点的y轴坐标；
20、t表示时间。
21、优选地，所述步骤s5中所述判断包括准确性判断和连贯性判断；
22、所述准确性判断中若手部距离鼻尖的欧几里得距离d(t)小于10cm，且手指能够准确触及鼻尖，且在整个动作过程中位置变化平稳，则判定满足准确性要求；
23、若手部距离鼻尖的欧几里得距离d(t)大于等于10cm，或手指不能够准确触及鼻尖，或在整个动作过程中位置变化不平稳，则判定不满足准确性要求。
24、所述连贯性判断中若手部移动速度v在0.5m/s以内，且没有突然的停顿或快速回退，则说明动作流畅，判定满足连贯性要求；
25、若手部移动速度v大于等于0.5m/s，或手指未能接触鼻尖且手部动作存在明显的颤抖或停顿，则表明动作不流畅，判定不满足连贯性要求。
26、优选地，采用云平台架构，将前端小程序采集到的指鼻动作信息上传至云平台，通过云平台处理深度学习算法采用共济失调诊断算法，提取每一帧图片中面部与手部关键点位置信息，利用共济失调判断规则模型数据分析，得到判断结论再返回至前端。
27、根据本专利技术提供的一种基于图像信息的共济失调判断系统，包括：
28、模块m1：在小程序前端显示指导视频，引导动作；
29、模块m2：上传按照指导视频录制的指鼻动作视频；
30、模块m3：分帧处理指鼻动作视频，提取出每一帧图片；
31、模块m4：对每一帧图片定位关键点信息并分析，得到位置关系；
32、模块m5：根据位置关系，判断指鼻动作准确连贯性，得到判断结论；
33、模块m6：将判断结论返回至小程序页面并详细说明。
34、优选地，所述指导视频为指鼻试验动作要求及注意事项讲解指导视频，指引用户分别用左右手规范完成指鼻动作。
35、所述模块m2中使用普通摄像头或移动设备自带的摄像头来录制指鼻动作视频。
36、所述模块m3中将上传至云平台的视频流分帧处理，将视频分解为单独的帧。
37、所述模块m6中将云平台分析得到的判断结论返回至小程序页面，提供详细的解释说明。
38、优选地，所述模块m4中采用开源的姿态估计算法框架，从2d的每一帧图片中提取关键点，并输出这些关键点在图像中的二维坐标(x，y)，手部位移shand。
39、分析面部与手部之间的相对位置关系和相邻时间段内距离随时间变化的关系，通过几何计算和时间序列分析将关键点相对位置关系转换为相应的运动模式，形成一个时间序列函数，欧几里得距离
40、手部移动速度
41、其中，xface(t)表示t时刻面部关键点的x轴坐标；
42、yface(t)表示t时刻面部关键点的y轴坐标；
43、xhand(t)表示t时刻手部关键点的x轴坐标；
44、yhand(t)表示t时刻手部关键点的y轴坐标；
45、t表示时间。
46、优选地，所述模块m5中所述判断包括准确性判断和连贯性判断；
47、所述准确性判断中若手部距离鼻尖的欧几里得距离d(t)小于10cm，且手指能够准确触及鼻尖，且在整个动作过程中位置变化平稳，则判定满足准确性要求；
48、若手部距离鼻尖的欧几里得距离d(t)大于等于10cm，或手指不能够准确触及鼻尖，或在整个动作过程中位置变化不平稳，则判定不满足准确性要求。
49、所述连贯性判断中若手部移动速度v在0.5m/s以内，且没有突然的停顿或快速回退，则说明动作流畅，判定满足连贯性要求；
50、若手部移动速度v大于等于0.5m/s，或手指未能接触鼻尖且手部动作存在明显的颤抖或停顿，则表明动作不流畅，判定不满足连贯性要求本文档来自技高网...
【技术保护点】
1.一种基于图像信息的共济失调判断方法，其特征在于，包括：
2.根据权利要求1所述的基于图像信息的共济失调判断方法，其特征在于，所述指导视频为指鼻试验动作要求及注意事项讲解指导视频，指引用户分别用左右手规范完成指鼻动作；
3.根据权利要求1所述的基于图像信息的共济失调判断方法，其特征在于，所述步骤S4中采用开源的姿态估计算法框架，从2D的每一帧图片中提取关键点，并输出这些关键点在图像中的二维坐标(x，y)，手部位移shand；
4.根据权利要求1所述的基于图像信息的共济失调判断方法，其特征在于，所述步骤S5中所述判断包括准确性判断和连贯性判断；
5.根据权利要求1所述的基于图像信息的共济失调判断方法，其特征在于，采用云平台架构，将前端小程序采集到的指鼻动作信息上传至云平台，通过云平台处理深度学习算法采用共济失调诊断算法，提取每一帧图片中面部与手部关键点位置信息，利用共济失调判断规则模型数据分析，得到判断结论再返回至前端。
6.一种基于图像信息的共济失调判断系统，其特征在于，包括：
7.根据权利要求6所述的基于
8.根据权利要求6所述的基于图像信息的共济失调判断系统，其特征在于，所述模块M4中采用开源的姿态估计算法框架，从2D的每一帧图片中提取关键点，并输出这些关键点在图像中的二维坐标(x，y)，手部位移shand；
9.根据权利要求6所述的基于图像信息的共济失调判断系统，其特征在于，所述模块M5中所述判断包括准确性判断和连贯性判断；
10.根据权利要求6所述的基于图像信息的共济失调判断系统，其特征在于，采用云平台架构，将前端小程序采集到的指鼻动作信息上传至云平台，通过云平台处理深度学习算法采用共济失调诊断算法，提取每一帧图片中面部与手部关键点位置信息，利用共济失调判断规则模型数据分析，得到判断结论再返回至前端。
...【技术特征摘要】
1.一种基于图像信息的共济失调判断方法，其特征在于，包括：
2.根据权利要求1所述的基于图像信息的共济失调判断方法，其特征在于，所述指导视频为指鼻试验动作要求及注意事项讲解指导视频，指引用户分别用左右手规范完成指鼻动作；
3.根据权利要求1所述的基于图像信息的共济失调判断方法，其特征在于，所述步骤s4中采用开源的姿态估计算法框架，从2d的每一帧图片中提取关键点，并输出这些关键点在图像中的二维坐标(x，y)，手部位移shand；
4.根据权利要求1所述的基于图像信息的共济失调判断方法，其特征在于，所述步骤s5中所述判断包括准确性判断和连贯性判断；
5.根据权利要求1所述的基于图像信息的共济失调判断方法，其特征在于，采用云平台架构，将前端小程序采集到的指鼻动作信息上传至云平台，通过云平台处理深度学习算法采用共济失调诊断算法，提取每一帧图片中面部与手部关键点位置信息，利用共济失调判断规则模型数据分析，得到判断结论再返回至前端。
...【专利技术属性】
技术研发人员：刘成良，时泽华，刘金磊，
申请(专利权)人：上海哈特智康医疗技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。