一种基于3D点云分割的精准面瘫程度评测方法及装置制造方法及图纸

本发明专利技术公开了一种基于3D点云分割的精准面瘫程度评测方法及装置。该方法包括：建立面瘫3D语义分割模型；获取待检测数据并对待检测数据进行处理：将无表情自然状态静态图像、序列图像一、序列图像二、序列图像三以及序列图像四依次输入至面瘫3D语义分割模型中以输出相应的多组人脸形状，更新多组人脸形状；对待检测用户的面瘫程度进行评测：计算θ

【技术实现步骤摘要】
一种基于3D点云分割的精准面瘫程度评测方法及装置
本专利技术涉及面瘫识别
的一种精准面瘫程度评测方法，尤其涉及一种基于3D点云分割的精准面瘫程度评测方法，还涉及应用该方法的基于3D点云分割的精准面瘫程度评测装置。
技术介绍
面瘫，一种面部肌肉运动功能受阻的常见病，患者往往难以正常完成如闭眼、抬眉、鼓腮、皱鼻或张嘴等基本面部动作，而且在我国是发病率较高的地区。面瘫一般称为面神经麻痹，一般症状是口眼歪斜，患者往往连最基本的抬眉、闭眼、鼓嘴等动作都无法完成。目前，面瘫诊断相关的面神经功能评价方法有将近20多种，如H-B分级法、线性测量指数、诺丁汉分级系统及多伦多分级法等，但这些系统在评价面瘫程度的评价标准普遍都存在一定的缺陷，如评价结果很大程度上由于人工操作的过程中所带有的专家主观性评判，不仅效率较低而且存在较大的误差，由此大大影响了对面瘫患者的面瘫程度的评估结果，同时对面瘫患者的治疗过程及恢复情况没有信息化的统计记录而难于准确评价治疗效果，从而对面瘫患者的后续治疗带来了较大的阻力。因此，需要一种利用现有计算视觉等技术而实现面瘫程度评测方法，该方法能够应用于面瘫检测设备中，作为医疗设备的检测方法对面瘫患者的面瘫程度进行检测，并且能够大规模、广泛地进行产业化应用，例如可以作为独立的程序应用在手机端、客户端中，可供面瘫患者在非治疗时期进行纠正和检查，同时也可以供非面瘫患者做预防方法使用。
技术实现思路
为解决现有的面瘫程度评测方法存在误差大，评测效率低的技术问题，本专利技术提供一种基于3D点云分割的精准面瘫程度评测方法及装置。本专利技术采用以下技术方案实现：一种基于3D点云分割的精准面瘫程度评测方法，其包括以下步骤：(1)确定两个眉毛区域分别为s1、s2，位于眉毛区域s1一侧的眼白区域为s3，位于眉毛区域s2一侧的眼白区域为s4，上嘴唇区域为s5，下嘴唇区域为s6；以区域s1、s2、s3、s4、s5、s6为元素形成的集合表示人脸形状；(2)获取待检测用户整个人脸在无表情自然状态、做皱眉动作全过程、做闭眼动作全过程以及做吹哨动作全过程中产生的多组人脸形状；依次分别计算眉毛区域s1的中心点p1＝(xp1,yp1,zp1)，眉毛区域s2的中心点p2＝(xp2,yp2,zp2)，基于眉毛区域s1内所有点云进行线性回归获得直线l1，且直线l1的方向向量为基于眉毛区域s2内所有点云进行线性回归获得直线l2，且直线l2的方向向量为计算眉毛区域s1内所有点云的协方差矩阵的特征值ρa1、ρa2、ρa3及对应单位特征向量并计算眉毛区域s2内所有点云的协方差矩阵的特征值ρb1、ρb2、ρb3及对应单位特征向量设置旋转矩阵旋转矩阵并计算旋转矩阵A1在x轴上欧拉角为αa1，旋转矩阵A1在y轴上欧拉角为αa2，旋转矩阵A1在z轴上欧拉角为αa3，还计算旋转矩阵A2在x轴上欧拉角为αb1，旋转矩阵A2在y轴上欧拉角为αb2，旋转矩阵A2在z轴上欧拉角为αb3；计算眼白区域s3内y轴取值最大的点为p3＝(xp3,yp3,zp3)，眼白区域s3内与点p3欧氏距离最近的NK1个点云的中心点为p4＝(xp4,yp4,zp4)，并统计眼白区域s3内点云数量n1，眼白区域s4内y轴取值最小的点为p5＝(xp5,yp5,zp5)，还计算眼白区域s4内与点p5欧氏距离最近的NK2个点云的中心点为p6＝(xp6,yp6,zp6)，并统计眼白区域s4内点云数量n2，点p4与点p6的中点为p7＝(xp7,yp7,zp7)，随后确定上嘴唇区域s5内x轴取值最大的点为p8＝(xp8,yp8,zp8)，上嘴唇区域s5内与点p8欧氏距离最近的NK3个点云的中心点为p9＝(xp9,yp9,zp9)，下嘴唇区域s6内x轴取值最大的点为p10＝(xp10,yp10,zp10)，下嘴唇区域s6内与点p10欧氏距离最近的NK4个点云的中心点为p11＝(xp11,yp11,zp11)，并在过点p7且与直线p4p6相垂直的直线上随机选取一点p12＝(xp12,yp12,zp12)，设置向量其中ρa1≥ρa2≥ρa3，ρb1≥ρb2≥ρb3，0≤αa1,αa2,αa3,αb1,αb2,αb3≤π；将点p1、点p2、点p3、点p4、点p5、点p6、点p7、点p8、点p9、点p10、点p11、点p12、向量向量向量向量向量向量向量向量面积n1及面积n2作为元素加入至对应的人脸形状中以获得更新后人脸形状；(3)对于更新后的无表情自然状态人脸形状S0，计算对于更新后的皱眉动作人脸形状Sa1,Sa2,……,San，先依次分别计算再计算最后计算θ4＝a1+a2，θ5＝|a1+a2|/a3|a1-a2|；对于更新后的闭眼动作人脸形状Sb1,Sb2,……,Sbn，先计算再计算θ6＝max(b3,b4)，θ7＝|b3+b4|/|b3-b4|；对于更新后的微笑动作人脸形状Sc1,Sc2,……,Scn，先依次分别计算再计算最后计算对于更新后的吹哨动作人脸形状Sd1,Sd2,……,Sdn，先依次分别计算再计算最后计算θ10＝|d1-d2|/|d1+d2|，θ12＝arccos(d7)；将θ1、θ2、θ3、θ4、θ5、θ6、θ7、θ8、θ9、θ10、θ11、|θ12|、a1、a2、b1、b2分别与其阈值比较；通过比较结果对待检测用户的面瘫程度进行判定，并计算面瘫指数。本专利技术先通过确定人脸中各个区域并作为元素形成的集合表示人脸形状，再对各个元素进行处理，最后根据处理后的用户数据对其面瘫程度进行评测，这样获取待检测用户脸部的静态3D图像及动态序列3D图像，利用面瘫3D语义分割模型分别在静态3D图像及动态序列3D图像中提取待检测用户脸部的所有关于眉毛、眼白上嘴唇及下嘴唇的语义分割信息，根据待检测用户在不同表情下面部对应关键区域间在3D空间中的各种点线面间几何关系综合评价检测用户面瘫程度，可以使检测模型具有较高的检测定位精度，结合优选的不同表情下面部对应关键区域间向量关系，所优选的不同表情下面部对应关键区域间在3D空间中的各种点线面间几何关系，大大提升待检测用户面瘫程度综合评价及检测的精度及准度，解决了现有的面瘫程度评测方法存在误差大，评测效率低的技术问题，得到了面瘫程度探测准确性高，评测效率高，可大规模、产业化应用在面瘫识别和程度评测设备中的技术效果。作为上述方案的进一步改进，步骤(1)还包括：建立面瘫3D语义分割模型，建立方法包括以下步骤：(1.1)创建三维深度网络模型；(1.2)通过多个已标定训练样本以获取模型训练集；(1.3)在所述模型训练集中选取一组已标定训练样本输入至所述三维深度网络模型中进行训练；以及(1.4)判断步骤(1.3)的执行次数是否达到一个预设的最大训练次数；在所述执行次数未达到所述最大训练次数时，获取所述三维深度网络模型一个周期的损失值，并判断所述损失值是否大于模型目标损失阈值；在所述损失值大于所述模型目标损失阈值时，执行步骤(1.3)；本文档来自技高网...

【技术保护点】
1.一种基于3D点云分割的精准面瘫程度评测方法，其特征在于，其包括以下步骤：/n(1)确定两个眉毛区域分别为s

【技术特征摘要】
1.一种基于3D点云分割的精准面瘫程度评测方法，其特征在于，其包括以下步骤：
(1)确定两个眉毛区域分别为s1、s2，位于眉毛区域s1一侧的眼白区域为s3，位于眉毛区域s2一侧的眼白区域为s4，上嘴唇区域为s5，下嘴唇区域为s6；以区域s1、s2、s3、s4、s5、s6为元素形成的集合表示人脸形状；
(2)获取待检测用户整个人脸在无表情自然状态、做皱眉动作全过程、做闭眼动作全过程以及做吹哨动作全过程中产生的多组人脸形状；
依次分别计算眉毛区域s1的中心点p1＝(xp1,yp1,zp1)，眉毛区域s2的中心点p2＝(xp2,yp2,zp2)，基于眉毛区域s1内所有点云进行线性回归获得直线l1，且直线l1的方向向量为基于眉毛区域s2内所有点云进行线性回归获得直线l2，且直线l2的方向向量为
计算眉毛区域s1内所有点云的协方差矩阵的特征值ρa1、ρa2、ρa3及对应单位特征向量并计算眉毛区域s2内所有点云的协方差矩阵的特征值ρb1、ρb2、ρb3及对应单位特征向量
设置旋转矩阵旋转矩阵并计算旋转矩阵A1在x轴上欧拉角为αa1，旋转矩阵A1在y轴上欧拉角为αa2，旋转矩阵A1在z轴上欧拉角为αa3，还计算旋转矩阵A2在x轴上欧拉角为αb1，旋转矩阵A2在y轴上欧拉角为αb2，旋转矩阵A2在z轴上欧拉角为αb3；
计算眼白区域s3内y轴取值最大的点为p3＝(xp3,yp3,zp3)，眼白区域s3内与点p3欧氏距离最近的NK1个点云的中心点为p4＝(xp4,yp4,zp4)，并统计眼白区域s3内点云数量n1，眼白区域s4内y轴取值最小的点为p5＝(xp5,yp5,zp5)，还计算眼白区域s4内与点p5欧氏距离最近的NK2个点云的中心点为p6＝(xp6,yp6,zp6)，并统计眼白区域s4内点云数量n2，点p4与点p6的中点为p7＝(xp7,yp7,zp7)，随后确定上嘴唇区域s5内x轴取值最大的点为p8＝(xp8,yp8,zp8)，上嘴唇区域s5内与点p8欧氏距离最近的NK3个点云的中心点为p9＝(xp9,yp9,zp9)，下嘴唇区域s6内x轴取值最大的点为p10＝(xp10,yp10,zp10)，下嘴唇区域s6内与点p10欧氏距离最近的NK4个点云的中心点为p11＝(xp11,yp11,zp11)，并在过点p7且与直线p4p6相垂直的直线上随机选取一点p12＝(xp12,yp12,zp12)，设置向量其中ρa1≥ρa2≥ρa3，ρb1≥ρb2≥ρb3，0≤αa1,αa2,αa3,αb1,αb2,αb3≤π；
将点p1、点p2、点p3、点p4、点p5、点p6、点p7、点p8、点p9、点p10、点p11、点p12、向量向量向量向量向量向量向量向量面积n1及面积n2作为元素加入至对应的人脸形状中以获得更新后人脸形状；
(3)对于更新后的无表情自然状态人脸形状S0，计算
对于更新后的皱眉动作人脸形状Sa1,Sa2,……,San，先依次分别计算再计算最后计算θ4＝a1+a2，θ5＝|a1+a2|/a3|a1-a2|；
对于更新后的闭眼动作人脸形状Sb1,Sb2,……,Sbn，先计算再计算θ6＝max(b3,b4)，θ7＝|b3+b4|/|b3-b4|；
对于更新后的微笑动作人脸形状Sc1,Sc2,……,Scn，先依次分别计算再计算最后计算θ8＝|c1-c2|/|c1+c2|,
对于更新后的吹哨动作人脸形状Sd1,Sd2,……,Sdn，先依次分别计算再计算最后计算θ10＝|d1-d2|/|d1+d2|,θ12＝arccos(d7)；
将θ1、θ2、θ3、θ4、θ5、θ6、θ7、θ8、θ9、θ10、θ11、|θ12|、a1、a2、b1、b2分别与其阈值比较；
通过比较结果对待检测用户的面瘫程度进行判定，并计算面瘫指数。


2.如权利要求1所述的基于3D点云分割的精准面瘫程度评测方法，其特征在于，步骤(1)还包括：建立面瘫3D语义分割模型，建立方法包括以下步骤：
(1.1)创建三维深度网络模型；
(1.2)通过多个已标定训练样本以获取模型训练集；
(1.3)在所述模型训练集中选取一组已标定训练样本输入至所述三维深度网络模型中进行训练；以及
(1.4)判断步骤(1.3)的执行次数是否达到一个预设的最大训练次数；
在所述执行次数未达到所述最大训练次数时，获取所述三维深度网络模型一个周期的损失值，并判断所述损失值是否大于模型目标损失阈值；
在所述损失值大于所述模型目标损失阈值时，执行步骤(1.3)；
在所述损失值小于所述模型目标损失阈值或所述执行次数达到所述最大训练次数时，将所述三维深度网络模型作为面瘫3D语义分割模型。


3.如权利要求2所述的基于3D点云分割的精准面瘫程度评测方法，其特征在于，步骤(2)还包括：获取待检测用户整个人脸的待检测数据；其中，所述待检测数据包括待检测用户整个人脸的无表情自然状态静态图像以及所述待检测用户在做皱眉动作全过程中所产生的序列图像一，在做闭眼动作全过程的序列图像二，在做微笑动作全过程的序列图像三，在做吹哨动作全过程的序列图像四。


4.如权利要求3所述的基于3D点云分割的精准面瘫程度评测方法，其特征在于，步骤(2)还包括：将所述无表情自然状态静态图像、所述序列图像一、所述序列图像二、所述序列图像三以及所述序列图像四依次输入至所述面瘫3D语义分割模型中以输出相应的多组人脸形状。


5.如权利要求4所述的基于3D点云分割的精准面瘫程度评测方法，其特征在于，更新后人脸形状依次为：







































6.如权利要求5所述的基于3D点云分割的精准面瘫程度评测方法，其特征在于，步骤(3)还包括：设置θ1对应的阈值θ’1，θ2对应的阈值θ’2，θ4对应的阈值θ’4，θ6对应的阈值θ’6，θ8对应的阈值θ’8，θ10对应的阈值θ’10，θ11对应的阈值θ’11，|θ12|对应的阈值θ’12，a1对应的阈值a’1，a2对应的阈值a’2，b1对应的阈值b’1，b2对应的阈值b’2，并比较θ1与θ’1，θ2与θ’2，θ4与θ’4，θ6与θ’6，θ8与θ’8，θ10与θ’10，θ11与θ’11，|θ12|与θ’12，a1与a’1，a2与a’2，b1与b’1，b2与b’2；其中，阈值θ’1、θ’2、θ’4、θ’6、θ’8、θ’10、θ’11、θ’12、a’1、a’2、b’1、b’2分别根据外部实现情况预设。


7.如权利要求6所述的基于3D点云分割的精准面瘫程度评测方法，其特征在于，步骤(3)还包括：若θ1>θ’1，或θ2<θ’2，或θ3>θ’3，则判定所述待检测用户存在面瘫症状且属于严重面瘫，并计算相应的面瘫指数K1＝(0.2θ1θ3/θ2)+(0.1/θ4)+(0.1/θ5)+(0.3/θ6)+(0.3/θ7)+(0.3/θ8)+(0.3/θ9)+(0.1/θ10)+(0.1/θ11)；若同时满足以下条件：θ1≤θ’1、θ2≥θ’2、θ3≤θ’3，并满足以下条件中的至少一个：θ5<θ’5、θ7<θ’7、θ9<θ’9、θ11<θ’11，则判定所述待检测用户存在面瘫症状但不属于严重面瘫，并计算相应的面瘫指数K2＝(0.1/θ5)+(0.3/θ7)+(0.3/θ9)+0.1θ11；
若所述待检测用户存在面瘫症状但不属于严重面瘫，并且a1<a’1或b1>b’1，则判定所述待检测用户的一侧上脸部存在面瘫；若所述待检测用户存在面瘫症状但不属于严重面瘫，并且a2<a’2或b2>b’2，则判定所述待检测用户的另一侧上脸部存在面瘫；若θ12>θ’12>0，则判定所述待检测用户另一侧下脸部存在面瘫；若θ12<-θ’12<0，则判定所述待检测用户的一侧下脸部存在面瘫。


8.如权利要求7所述的基于3D点云分割的精准面瘫程度评测方法，其特征在于，步骤(3)还包括：若同时满足以下条件：θ1≤θ’1、θ2≥θ’2、θ3≤θ’3、θ5≥θ’5、θ7≥θ’7、θ9≥θ’9、θ11≥θ’11，则判定所述待检测用户不存在面瘫症状。


9.如权利要求8所述的基于3D点云分割的精准面瘫程度评测方法，...

【专利技术属性】
技术研发人员：冯少华，李伟中，李健，金波，邓利平，冼上轩，
申请(专利权)人：深圳德技创新实业有限公司，
类型：发明
国别省市：广东;44