一种卒中康复情况检测方法及设备技术

本申请实施例公开了一种卒中康复情况检测方法及设备。通过安装于镜子上的图像采集装置获取用户的当前面部图像与当前声音数据；对当前面部图像进行采样点标注，以确定出预设数量的面部关键点；对面部关键点进行连线处理，确定出第一卒中评估值；对当前声音数据进行随机采样，并获取采样点的信息，对当前声音数据进行声音特征值提取，基于采样点信息与提取的声音特征值确定出第二卒中评估值；将当前面部图像与预置卒中面部图像进行比对，以及将当前声音数据与预置健康声音数据进行比对，以得到卒中康复评估值；基于第一卒中评估值、第二卒中评估值以及卒中康复评估值确定出用户的卒中康复状况。中康复状况。中康复状况。

【技术实现步骤摘要】
一种卒中康复情况检测方法及设备


[0001]本申请涉及图像与声音处理
，尤其涉及一种卒中康复情况检测方法及设备。

技术介绍

[0002]随着脑卒中人群逐渐增加，《中国脑卒中防治报告2020》概要指出，2019年，中国40岁及以上现患和曾患卒中人数约为1704万，2018年约有194万人死于卒中。2017年国际糖尿病联盟报告我国成年(20～79岁)糖尿病现患人数高达1.144亿。此外，中国高血压患者、血脂异常者、超重和肥胖者以及吸烟者人数都较为庞大，而这些都是卒中的高危人群。
[0003]由于脑卒中患者的康复期时间较长，因此脑卒中患者通常会选择居家康复，脑卒中患者居家康复时，通常需要对自己的健康状况进行判断。但由于卒中人群通常对医学知识了解较少，因此难以根据身体变化状况对自身的卒中康复状况进行及时、准确判断，以致居家康复时，难以及时对自身卒中复发风险进行监控。

技术实现思路

[0004]本申请实施例提供了一种卒中康复情况检测方法及设备，用于解决如下技术问题：脑卒中患者在居家康复时，难以及时对自身卒中复发风险进行监控。
[0005]本申请实施例采用下述技术方案：
[0006]本申请实施例提供一种卒中康复情况检测方法。包括，通过安装于镜子上的图像采集装置获取用户的当前面部图像；对当前面部图像进行采样点标注，以根据标注的采样点确定出面部关键点；对面部关键点进行连线处理，并将面部关键点之间的连线与参考连线进行比对，以确定出当前面部图像对应的第一卒中评估值；其中，参考连线与用户健康期间对应的面部图像相关；通过安装于镜子上的声音采集装置获取用户的当前声音数据；对当前声音数据进行随机采样，以获取采样点的信息，以及对当前声音数据进行声音特征值提取，以基于采样点的信息、提取的声音特征值与预置卒中参考声音数据确定出第二卒中评估值；其中，预置卒中参考声音数据与患者卒中期间的多种声音数据相关；将当前面部图像与预置卒中面部图像进行比对，以及将当前声音数据与预置健康声音数据进行比对，以得到卒中康复评估值；基于第一卒中评估值、第二卒中评估值以及卒中康复评估值，对用户进行卒中康复情况提醒。
[0007]本申请实施例通过安装于镜子上的图像采集装置获取用户的当前面部图像，能够根据面部图像上的关键点确定出第一卒中评估值。从而使得卒中康复用户在家即可对自身的健康状况进行判断。其次通过声音采集装置获取当前声音数据，并对获取到的当前声音数据进行声音特征值提取，从而将当前声音的声音特征值与预置卒中参考声音数据进行比对，以通过声音确定出第二卒中评估值。本申请实施例从用户图像与声音两方面同时进行检测，从而提高卒中检测的准确率。其次，本申请实施例还将获取到的当前面部图像与预置卒中图像进行比对，以及将当前声音数据与预置健康声音数据进行比对，从而将当前面部
图像与声音数据，均与健康的数据与卒中数据进行比对，从而进一步提高卒中康复情况检测的准确率。
[0008]在本申请的一种实现方式中，对当前面部图像进行采样点标注，以根据标注的采样点确定出预设数量的面部关键点，具体包括：将当前面部图像作为第一层图像，对当前面部图像进行高斯低通滤波，对滤波后的图像进行采样点标注，并基于标注的采样点生成第二层图像；其中，相邻两个采样点之间间隔一个像素点；对第二层图像进行采样点标注，并基于标注的采样点生成第三层图像；以此类推，以获取若干图层，并基于获取到的若干图层构建多尺度图像集合；通过FasterR
‑
CNN模型对多尺度图像集合进行面部区域定位；通过深度残差网络ResNet
‑
101对多尺度图像集合对应的面部区域进行特征图提取，并按照若干图层的生成顺序，将多尺度图像集合对应的多个特征图进行叠加，以对叠加后的特征图进行关键点确定。
[0009]在本申请的一种实现方式中，对叠加后的特征图进行关键点确定，具体包括：将叠加后的特征图输入预置面部关键点检测模型，通过预置面部关键点检测模型的全连接网络对叠加后的特征图进行面部区域标注，并通过非极大抑制算法对标注的面部区域进行筛选，以得到与实际面部区域的面积相同第一面部区域集合；将第一面部区域集合输入预置面部关键点检测模型的Refine Network网络层，以对第一面部区域集合进行面部关键点标注，并通过非极大抑制算法对标注的面部关键点进行筛选，以得到与实际面部区域的面积相同第二面部区域集合；将第二面部区域集合输入预置面部关键点检测模型的Output Network网络层，以对第二面部区域集合进行面部关键点定位。
[0010]在本申请的一种实现方式中，对面部关键点进行连线处理，并将面部关键点之间的连线与参考连线进行比对，以确定出当前面部图像对应的第一卒中概率，具体包括：基于预设关键点位置模板，对面部关键点进行分类，以得到内眼角关键点、外眼角关键点、嘴角关键点以及鼻部关键点；确定多个内眼角关键点之间的第一连线，以及确定出多个外眼角关键点之间的第二连线，将第一连线、第二连线分别与水平方向参考连线进行比对，以确定出第一连线对应的内眼角倾斜角度，以及第二连线对应的外眼角倾斜角度；确定出同一只眼睛对应的内眼角关键点与外眼角关键点之间的第三连线，将第三连线与水平方向参考连线进行比对，以确定出外眼角下垂角度；确定嘴角关键点与鼻部关键点之间的第四连线，将第四连线与水平方向参考连线进行比对，以确定出嘴角倾斜角度；将内眼角倾斜角度、外眼角倾斜角度、外眼角下垂角度以及嘴角倾斜角度进行加权融合，以得到第一卒中评估值。
[0011]在本申请的一种实现方式中，将内眼角倾斜角度、外眼角倾斜角度、外眼角下垂角度以及嘴角倾斜角度进行加权融合，以得到第一卒中评估值，具体包括：基于内眼角倾斜角度、外眼角倾斜角度、外眼角下垂角度以及嘴角倾斜角度，得到内眼角倾斜角度、外眼角倾斜角度、外眼角下垂角度以及嘴角倾斜角度分别对应的倾斜角度级别；基于倾斜角度以及倾斜角度级别分别对应的权重值，确定出面部图像对应的倾斜角度加权值；将倾斜角度加权值与预置卒中评估表进行比对，以确定出当前面部图像对应的第一卒中评估值。
[0012]在本申请的一种实现方式中，对当前声音数据进行随机采样，以获取采样点的信息，以及对当前声音数据进行声音特征值提取，以基于采样点的信息、提取的声音特征值与预置卒中参考声音数据确定出第二卒中评估值，具体包括：基于当前声音数据确定出相应的声音波形，并通过汉明窗对声音波形进行分帧处理，得到多帧声音波形；对每一帧声音波
形进行随机采样，并对相邻两个采样点对应的采样值进行比对，以根据相邻连个采样值的正负情况，确定出每一帧声音波形中过零点的采样点的数量，以及过零点的采样点的坐标；对声音波形进行小波分解，并对分解后的小波进行重构，以得到去噪后的声音波形；通过梅尔频谱倒谱系数法对去噪后的声音波形进行声音特征值提取，并将提取出的声音特征值输入预置SVM声音分类模型，以通过预置SVM声音分类模型确定出去噪后的声音波形对应的卒中等级类型；其中，声音特征值包括去噪后的声音波形对应的时间、频率以及幅值；将过零点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种卒中康复情况检测方法，其特征在于，所述方法包括：通过安装于镜子上的图像采集装置获取用户的当前面部图像；对所述当前面部图像进行采样点标注，以根据标注的采样点确定出面部关键点；对所述面部关键点进行连线处理，并将面部关键点之间的连线与参考连线进行比对，以确定出所述当前面部图像对应的第一卒中评估值；其中，所述参考连线与用户健康期间对应的面部图像相关；通过安装于镜子上的声音采集装置获取用户的当前声音数据；对所述当前声音数据进行随机采样，以获取采样点的信息，以及对所述当前声音数据进行声音特征值提取，以基于所述采样点的信息、提取的声音特征值与预置卒中参考声音数据确定出第二卒中评估值；其中，所述预置卒中参考声音数据与患者卒中期间的多种声音数据相关；将所述当前面部图像与预置卒中面部图像进行比对，以及将所述当前声音数据与预置健康声音数据进行比对，以得到卒中康复评估值；基于所述第一卒中评估值、所述第二卒中评估值以及所述卒中康复评估值，对用户进行卒中康复情况提醒。2.根据权利要求1所述的一种卒中康复情况检测方法，其特征在于，对所述当前面部图像进行采样点标注，以根据标注的采样点确定出面部关键点，具体包括：将所述当前面部图像作为第一层图像，对所述当前面部图像进行高斯低通滤波，对滤波后的图像进行采样点标注，并基于标注的采样点生成第二层图像；其中，相邻两个采样点之间间隔一个像素点；对所述第二层图像进行采样点标注，并基于标注的采样点生成第三层图像；以此类推，以获取若干图层，并基于获取到的所述若干图层构建多尺度图像集合；通过FasterR
‑
CNN模型对所述多尺度图像集合进行面部区域定位；通过深度残差网络ResNet
‑
101对所述多尺度图像集合对应的面部区域进行特征图提取，并按照所述若干图层的生成顺序，将所述多尺度图像集合对应的多个特征图进行叠加，以对叠加后的特征图进行关键点确定。3.根据权利要求2所述的一种卒中康复情况检测方法，其特征在于，所述对叠加后的特征图进行关键点确定，具体包括：将所述叠加后的特征图，输入预置面部关键点检测模型，通过所述预置面部关键点检测模型的全连接网络对所述叠加后的特征图进行面部区域标注，并通过非极大抑制算法对标注的面部区域进行筛选，以得到与实际面部区域的面积相同第一面部区域集合；将所述第一面部区域集合输入所述预置面部关键点检测模型的Refine Network网络层，以对所述第一面部区域集合进行面部关键点标注，并通过非极大抑制算法对标注的面部关键点进行筛选，以得到与实际面部关键点面积相同的第二面部区域集合；将所述第二面部区域集合输入所述预置面部关键点检测模型的Output Network网络层，以对所述第二面部区域集合进行面部关键点定位。4.根据权利要求1所述的一种卒中康复情况检测方法，其特征在于，对所述面部关键点进行连线处理，并将面部关键点之间的连线与参考连线进行比对，以确定出所述当前面部图像对应的第一卒中评估值，具体包括：
基于预设关键点位置模板，对所述面部关键点进行分类，以得到内眼角关键点、外眼角关键点、嘴角关键点以及鼻部关键点；确定多个内眼角关键点之间的第一连线，以及确定出多个外眼角关键点之间的第二连线，将所述第一连线、所述第二连线分别与水平方向参考连线进行比对，以确定出第一连线对应的内眼角倾斜角度，以及第二连线对应的外眼角倾斜角度；确定出同一只眼睛对应的内眼角关键点与外眼角关键点之间的第三连线，将所述第三连线与水平方向参考连线进行比对，以确定出外眼角下垂角度；确定所述嘴角关键点与所述鼻部关键点之间的第四连线，基于所述第四连线与水平方向参考连线进行比对，以确定出嘴角倾斜角度；将所述内眼角倾斜角度、所述外眼角倾斜角度、所述外眼角下垂角度以及所述嘴角倾斜角度进行加权融合，以得到第一卒中评估值。5.根据权利要求4所述的一种卒中康复情况检测方法，其特征在于，将所述内眼角倾斜角度、所述外眼角倾斜角度、所述外眼角下垂角度以及所述嘴角倾斜角度进行加权融合，以得到第一卒中评估值，具体包括：基于所述内眼角倾斜角度、所述外眼角倾斜角度、所述外眼角下垂角度以及所述嘴角倾斜角度，得到所述内眼角倾斜角度、所述外眼角倾斜角度、所述外眼角下垂角度以及所述嘴角倾斜角度分别对应的倾斜角度级别；基于倾斜角度以及所述倾斜角度级别分别对应的权重值，确定出所述面部图像对应的倾斜角度加权值；将所述倾斜角度加权值与预置卒中评估表进行比对，以确定出所述当前面部图像对应的第一卒中评估值。6.根据权利要求1所述的一种卒中康复情况检测方法，其特征在于，对所述当前声音数据进行随机采样，以获取采样点的信息，以及对所述当前声音数据进行声音特征值提取，以基于所述采样点的信息、提取的声音特征值与预置卒中参考声音数据确定出第二卒中评估值，具体包括：基于所述当前声音数据确定出相应的声音波形，并通过汉明窗对所述声音波形进行分帧处理，得到多帧声音波形；对每一帧声音波形进行随机采样，并对相邻两个采样点对应的采样值进行比对，以根据相邻连个采样值的正负情况，确定出所述每一帧声音波形中过零点的采样点的数量，以及所述过零点的采样点的坐...

【专利技术属性】
技术研发人员：刘霞，吴钰，陈霞，孙芳芳，
申请(专利权)人：山东第一医科大学附属省立医院山东省立医院，
类型：发明
国别省市：