基于面部特征的抑郁症识别系统技术方案

本发明专利技术公开了基于面部特征的抑郁症识别系统；其中，系统包括：获取模块，其被配置为：获取受试者的面部表情图像；预处理模块，其被配置为：对采集的面部表情图像进行人脸检测，得到人脸区域图像；将检测到的人脸区域图像进行人脸对齐处理，得到对齐后的人脸区域图像；将对齐后的人脸区域图像进行特征提取，提取出若干种人脸几何特征；特征融合模块，其被配置为：将所有的人脸几何特征进行特征融合，得到融合后的人脸几何特征；抑郁症识别模块，其被配置为：将人脸几何特征，输入到训练后的抑郁症识别神经网络模型中，输出最终的抑郁症识别结果。果。果。

【技术实现步骤摘要】
基于面部特征的抑郁症识别系统


[0001]本专利技术涉及抑郁症识别
，特别是涉及基于面部特征的抑郁症识别系统。

技术介绍

[0002]本部分的陈述仅仅是提到了与本专利技术相关的
技术介绍
，并不必然构成现有技术。
[0003]面部表情是人与人沟通的过程中最丰富的部分，是内心情绪的反映。研究表明，抑郁症患者的面部模仿能力与正常人有着明显的差异。目前医生主要通过不同的量表和临床访谈来判断患者是否患有抑郁症以及抑郁症的严重程度。然而这取决于医生的主观经验以及患者的认知能力，具有一定程度的局限性。
[0004]随着计算机视觉技术的发展与完善，借助计算机视觉技术辅助医生进行抑郁症识别或早期筛查成为了一种可能。因此，如何利用面部特征高效、准确地识别抑郁症成为行业内亟待解决的问题。

技术实现思路

[0005]为了解决现有技术的不足，本专利技术提供了基于面部特征的抑郁症识别系统；该方法根据抑郁症患者的面部表情自愿模仿图像提取出面部特征，设计了带有动态注意力的抑郁症识别神经网络模型，并对其进行了训练和评估。
[0006]基于面部特征的抑郁症识别系统，包括：
[0007]获取模块，其被配置为：获取受试者的面部表情图像；
[0008]预处理模块，其被配置为：对采集的面部表情图像进行人脸检测，得到人脸区域图像；将检测到的人脸区域图像进行人脸对齐处理，得到对齐后的人脸区域图像；将对齐后的人脸区域图像进行特征提取，提取出若干种人脸几何特征；
[0009]特征融合模块，其被配置为：将所有的人脸几何特征进行特征融合，得到融合后的人脸几何特征；
[0010]抑郁症识别模块，其被配置为：将人脸几何特征，输入到训练后的抑郁症识别神经网络模型中，输出最终的抑郁症识别结果。
[0011]与现有技术相比，本专利技术的有益效果是：
[0012](1)本专利技术根据抑郁症患者的面部模仿能力的下降，提取出面部动作单元、眼睛注视估计和二维与三维关键点位置等面部几何特征，构建了一个高效的抑郁症识别方法，为抑郁症的早期识别和辅助临床诊疗提供便捷可靠的筛查手段；
[0013](2)本专利技术是基于残差神经网络，加入了内外双层动态注意力机制，构建了基于面部特征的抑郁症识别神经网络模型。位置编码生成器PEG(Positional Encoding Generator)能生成隐式的位置编码来为权重变化模块提供位置信息，权重变化模块把注意力放在了重要的特征上，能有效越过训练瓶颈，动态调整模型的输入，有效地避免了无关特征对抑郁症识别的干扰，提高了抑郁症识别的效率，本专利技术对抑郁症测试集的识别准确率高达85％以上。
附图说明
[0014]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0015]图1为实施例一的方法流程图；
[0016]图2为实施例一的混淆矩阵；
[0017]图3为实施例一的抑郁症识别神经网络模型内部结构示意图。
具体实施方式
[0018]应该指出，以下详细说明都是示例性的，旨在对本专利技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本专利技术所属
的普通技术人员通常理解的相同含义。
[0019]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本专利技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0020]在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。
[0021]本实施例所有数据的获取都在符合法律法规和用户同意的基础上，对数据的合法应用。
[0022]实施例一
[0023]本实施例提供了基于面部特征的抑郁症识别系统；
[0024]如图1所示，基于面部特征的抑郁症识别系统，包括：
[0025]获取模块，其被配置为：获取受试者的面部表情图像；
[0026]预处理模块，其被配置为：对采集的面部表情图像进行人脸检测，得到人脸区域图像；将检测到的人脸区域图像进行人脸对齐处理，得到对齐后的人脸区域图像；将对齐后的人脸区域图像进行特征提取，提取出若干种人脸几何特征；
[0027]特征融合模块，其被配置为：将所有的人脸几何特征进行特征融合，得到融合后的人脸几何特征；
[0028]抑郁症识别模块，其被配置为：将人脸几何特征，输入到训练后的抑郁症识别神经网络模型中，输出最终的抑郁症识别结果。
[0029]进一步地，所述获取受试者的面部表情图像，受试者须坐立于相机前方，正对镜头，背靠绿色幕布，在医生指导下模仿电脑生成的表情静态图像。当受试者的面部表情稳定时，使用固定好的相机对受试者进行正面拍摄，并将图像保存。
[0030]进一步地，所述对采集的面部表情图像进行人脸检测，得到人脸区域图像，具体包括：
[0031]将采集到的面部表情图像转换成灰度图，使用OpenCV库加载Haar级联分类器进行人脸检测，将图像中包含完整人脸的部分裁剪成224
×
224(单位为像素)的正方形图像。
[0032]进一步地，所述将检测到的人脸区域图像进行人脸对齐处理，得到对齐后的人脸
区域图像，具体包括：
[0033]使用Dlib库提供的68点关键点信息检测的模型来实现人脸对齐操作。
[0034]进一步地，所述将对齐后的人脸区域图像进行特征提取，提取出若干种人脸几何特征，具体包括：
[0035]使用开源工具OpenFace 2.0对面部表情图像进行面部特征提取，获得若干种面部几何特征，并存储在csv文件里；其中，若干种面部几何特征，包括：面部动作单元、眼睛注视估计、二维关键点位与三维关键点位置。
[0036]进一步地，所述将所有的人脸几何特征进行特征融合，得到融合后的人脸几何特征，特征融合的方式采用串联融合。
[0037]进一步地，如图3所示，所述将人脸几何特征，输入到训练后的抑郁症识别神经网络模型中，输出最终的抑郁症识别结果，其中，训练后的的抑郁症识别神经网络模型，具体网络结构包括：
[0038]依次连接的输入层、第一卷积块、第一压缩激励模块SE1(Squeeze
‑
and
‑
Excitation，SE)、第二卷积块、第二压缩激励模块SE2、第三卷积块、第三压缩激励模块SE2、第四卷积块、第四压缩激励模块SE2、第五卷积块、第五压缩激励模块SE2、位置编码生成器PEG(Positional Encoding Generator)和平均池化层，所述平均本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于面部特征的抑郁症识别系统，其特征是，包括：获取模块，其被配置为：获取受试者的面部表情图像；预处理模块，其被配置为：对采集的面部表情图像进行人脸检测，得到人脸区域图像；将检测到的人脸区域图像进行人脸对齐处理，得到对齐后的人脸区域图像；将对齐后的人脸区域图像进行特征提取，提取出若干种人脸几何特征；特征融合模块，其被配置为：将所有的人脸几何特征进行特征融合，得到融合后的人脸几何特征；抑郁症识别模块，其被配置为：将人脸几何特征，输入到训练后的抑郁症识别神经网络模型中，输出最终的抑郁症识别结果。2.如权利要求1所述的基于面部特征的抑郁症识别系统，其特征是，所述对采集的面部表情图像进行人脸检测，得到人脸区域图像，具体包括：将采集到的面部表情图像转换成灰度图，使用OpenCV库加载Haar级联分类器进行人脸检测，将图像中包含完整人脸的部分裁剪成224
×
224的正方形图像。3.如权利要求1所述的基于面部特征的抑郁症识别系统，其特征是，所述将检测到的人脸区域图像进行人脸对齐处理，得到对齐后的人脸区域图像，具体包括：使用Dlib库提供的68点关键点信息检测的模型来实现人脸对齐操作。4.如权利要求1所述的基于面部特征的抑郁症识别系统，其特征是，所述将对齐后的人脸区域图像进行特征提取，提取出若干种人脸几何特征，具体包括：使用开源工具OpenFace 2.0对面部表情图像进行面部特征提取，获得若干种面部几何特征，并存储在csv文件里；其中，若干种面部几何特征，包括：面部动作单元、眼睛注视估计、二维关键点位与三维关键点位置。5.如权利要求1所述的基于面部特征的抑郁症识别系统，其特征是，所述将所有的人脸几何特征进行特征融合，得到融合后的人脸几何特征，特征融合的方式采用串联融合。6.如权利要求1所述的基于面部特征的抑郁症识别系统，其特征是，所述将人脸几何特征，输入到训练后的抑郁症识别神经网络模型中，输出最终的抑郁症识别结果，其中，训练后的的抑郁症识别神经网络模型，具体网络结构包括：依次连接的输入层、第一卷积块、第一压缩激励模块SE1、第二卷积块、第二压缩激励模块SE2、第三卷积块、第三压缩激励模块SE2、第四卷积块、第四压缩激励模块SE2、第五卷积块、第五压缩激励模块SE2、位置编码生成器PEG和平均池化层，所述平均池化层的输出端分别与权重变化模块的输入端和全连接层D1的输入端连接，权重变化模块的输出端还与输入层的输入端连接。7.如权利要求6所述的基于面部特征的抑郁症识别系统，其特征是，其中，第一卷积块，包括一层卷积层conv1；其中，第二卷积块，包括依次连接的...

【专利技术属性】
技术研发人员：王庆祥，伊新宇，马凤英，
申请(专利权)人：齐鲁工业大学，
类型：发明
国别省市：