一种抑郁状态评估装置、方法、设备及存储介质制造方法及图纸

本发明专利技术公开一种抑郁状态评估装置、方法、设备及存储介质，通过获取被测人员的文本数据、语音数据、图像数据和社交网络数据，来对所述文本数据、所述语音数据和所述图像数据进行特征提取并融合得到多模态融合特征；根据所述社交网络数据和所述多模态融合特征构建图；将构建的图输入预先训练好的多模态图注意力模型，输出所述被测人员的抑郁状态评估结果。本发明专利技术实施例通过结合被测人员的多种特征信息以及个人的社交关系，对被测人员进行较为全面有效且快速的抑郁状态测评，实现了快速且准确的抑郁状态评估。的抑郁状态评估。的抑郁状态评估。

【技术实现步骤摘要】
一种抑郁状态评估装置、方法、设备及存储介质


[0001]本专利技术涉及数据分析
，尤其涉及一种抑郁状态评估装置、方法、设备及存储介质。

技术介绍

[0002]当今，大学生心理状态已经成为大学关注的焦点。通过评估大学生的抑郁状态来及时掌握大学生的心理状态，以为开展心理状态教育活动和进行心理咨询提供有效帮助，以及为有针对性地采取干预措施提高大学生心理状态水平提供参考。其中，如何快速准确地进行抑郁状态评估给大学生心理状态教育带来了巨大挑战，现阶段抑郁状态的评估方法主要依靠心理测评量表或咨询心理医生，咨询心理医生这一方式无法针对大量学生进行快速测评，心理测评量表评估主要依靠被测评人的自我陈述，比如调查问卷，然后根据评估规则对照被测评人回答的结果进行抑郁状态评估，这种抑郁状态评估方式只通过单一的角度进行测查，被测评人易隐瞒自身的抑郁状况，从而造成较大的偏差，难以全面客观地反映被测评人的真实抑郁状态。

技术实现思路

[0003]本专利技术实施例的目的是提供一种抑郁状态评估装置、方法、设备及存储介质，通过结合被测人员的多种特征信息以及个人的社交关系，对被测人员进行较为全面有效且快速的抑郁状态测评，实现了快速且准确的抑郁状态评估。
[0004]为实现上述目的，本专利技术实施例提供了一种抑郁状态评估装置，包括：
[0005]数据获取模块，用于获取被测人员的文本数据、语音数据、图像数据和社交网络数据；
[0006]特征提取模块，用于对所述文本数据、所述语音数据和所述图像数据进行特征提取并融合得到多模态融合特征；
[0007]图构建模块，用于根据所述社交网络数据和所述多模态融合特征构建图；
[0008]状态评估模块，用于将构建的图输入预先训练好的多模态图注意力模型，输出所述被测人员的抑郁状态评估结果。
[0009]作为上述方案的改进，所述特征提取模块，具体用于：
[0010]基于预先训练好的文本特征提取器提取所述文本数据的文本特征，以作为状态序列特征；
[0011]基于预先训练好的语音特征提取器和图像特征提取器分别提取所述语音数据的语音特征、所述图像数据的图像特征，并调用特征融合器对所述语音特征和所述图像特征进行融合以得到情绪状态特征；
[0012]将所述状态序列特征和所述情绪状态特征进行级联合并，得到描述被测人员抑郁状态的多模态融合特征。
[0013]作为上述方案的改进，所述图构建模块，具体用于：
[0014]将所述社交网络数据转换为关系矩阵；
[0015]根据所述多模态融合特征和所述关系矩阵构建图；其中，所述多模态融合特征作为顶点特征、所述关系矩阵作为边。
[0016]作为上述方案的改进，所述状态评估模块，具体用于：
[0017]将构建的图输入预先训练好的图注意力网络，更新所述顶点特征；
[0018]将更新后的顶点特征输入全连接层，输出所述被测人员的抑郁状态评估结果。
[0019]作为上述方案的改进，所述装置还包括参数训练模块，所述多模态图注意力模型的参数包括所述文本特征提取器的参数、所述语音特征提取器的参数、所述图像特征提取器的参数、所述特征融合器的参数以及所述图注意力网络的参数，所述参数训练模块用于：
[0020]获取已知人员的文本数据、语音数据、图像数据和社交网络数据，作为训练样本，并为每一训练样本赋予对应的真实标签；
[0021]对所述文本特征提取器进行参数训练，并根据预测的为文本序列特征和对应的真实标签计算第一损失函数；
[0022]对所述语音特征提取器、所述图像特征提取器以及所述特征融合器进行参数训练，并根据预测的情绪序列特征和对应的真实标签计算第二损失函数；
[0023]对所述图注意力网络进行参数训练，并根据预测的抑郁状态评估结果和对应的真实标签计算第三损失函数；
[0024]调用Adam优化器联合优化所述第一损失函数、所述第二损失函数和所述第三损失函数。
[0025]作为上述方案的改进，所述调用Adam优化器联合优化所述第一损失函数、所述第二损失函数和所述第三损失函数，具体包括：
[0026]根据所述第一损失函数、所述第二损失函数和所述第三损失函数得到总损失函数L
all
：
[0027]L
all
＝L
transformer
+λ1L
Fusion
+λ2L
Graph
；
[0028]其中，L
transformer
表示所述第一损失函数，L
Fusion
表示所述第二损失函数，L
Graph
表示所述第三损失函数，λ1和λ2为可调节的平衡系数；
[0029]调用Adam优化器优化所述总损失函数。
[0030]为实现上述目的，本专利技术实施例提供了一种抑郁状态评估方法，包括：
[0031]获取被测人员的文本数据、语音数据、图像数据和社交网络数据；
[0032]对所述文本数据、所述语音数据和所述图像数据进行特征提取并融合得到多模态融合特征；
[0033]根据所述社交网络数据和所述多模态融合特征构建图；
[0034]将构建的图输入预先训练好的多模态图注意力模型，输出所述被测人员的抑郁状态评估结果。
[0035]作为上述方案的改进，所述对所述文本数据、所述语音数据和所述图像数据进行特征提取并融合得到多模态融合特征，具体包括：
[0036]基于预先训练好的文本特征提取器提取所述文本数据的文本特征，以作为状态序列特征；
[0037]基于预先训练好的语音特征提取器和图像特征提取器分别提取所述语音数据的
语音特征、所述图像数据的图像特征，并调用特征融合器对所述语音特征和所述图像特征进行融合以得到情绪状态特征；
[0038]将所述状态序列特征和所述情绪状态特征进行级联合并，得到描述被测人员抑郁状态的多模态融合特征。
[0039]为实现上述目的，本专利技术实施例提供了一种抑郁状态评估设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一实施例所述的抑郁状态评估方法。
[0040]为实现上述目的，本专利技术实施例提供了一种计算机可读存储介质，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一实施例所述的抑郁状态评估方法。
[0041]与现有技术相比，本专利技术实施例公开的抑郁状态评估装置、方法、设备及计算机可读存储介质，通过获取被测人员的文本数据、语音数据、图像数据和社交网络数据，来用于提取并融合与抑郁状态相关的特征，以得到多模态融合特征；通过根据社交网络数据和多模态融合特征来构建与抑郁状态相关的图，用于输入预先训练好的多模态图注意力模型，输出被测人员的抑郁状态评估结果。本专利技术实施例通过从文本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种抑郁状态评估装置，其特征在于，包括：数据获取模块，用于获取被测人员的文本数据、语音数据、图像数据和社交网络数据；特征提取模块，用于对所述文本数据、所述语音数据和所述图像数据进行特征提取并融合得到多模态融合特征；图构建模块，用于根据所述社交网络数据和所述多模态融合特征构建图；状态评估模块，用于将构建的图输入预先训练好的多模态图注意力模型，输出所述被测人员的抑郁状态评估结果。2.如权利要求1所述的抑郁状态评估装置，其特征在于，所述特征提取模块，具体用于：基于预先训练好的文本特征提取器提取所述文本数据的文本特征，以作为状态序列特征；基于预先训练好的语音特征提取器和图像特征提取器分别提取所述语音数据的语音特征、所述图像数据的图像特征，并调用特征融合器对所述语音特征和所述图像特征进行融合以得到情绪状态特征；将所述状态序列特征和所述情绪状态特征进行级联合并，得到描述被测人员抑郁状态的多模态融合特征。3.如权利要求1所述的抑郁状态评估装置，其特征在于，所述图构建模块，具体用于：将所述社交网络数据转换为关系矩阵；根据所述多模态融合特征和所述关系矩阵构建图；其中，所述多模态融合特征作为顶点特征、所述关系矩阵作为边。4.如权利要求3所述的抑郁状态评估装置，其特征在于，所述状态评估模块，具体用于：将构建的图输入预先训练好的图注意力网络，更新所述顶点特征；将更新后的顶点特征输入全连接层，输出所述被测人员的抑郁状态评估结果。5.如权利要求4所述抑郁状态评估装置，其特征在于，所述装置还包括参数训练模块，所述多模态图注意力模型的参数包括所述文本特征提取器的参数、所述语音特征提取器的参数、所述图像特征提取器的参数、所述特征融合器的参数以及所述图注意力网络的参数，所述参数训练模块用于：获取已知人员的文本数据、语音数据、图像数据和社交网络数据，作为训练样本，并为每一训练样本赋予对应的真实标签；对所述文本特征提取器进行参数训练，并根据预测的为文本序列特征和对应的真实标签计算第一损失函数；对所述语音特征提取器、所述图像特征提取器以及所述特征融合器进行参数训练，并根据预测的情绪序列特征和对应的真实标签计算第二损失函数；对所述图注意力网络进行参数训练，并根据预测的抑郁状态评估结果和对应的真实标签计算第三损失函数；调用Adam优化器联合优化所述第一损失函数、所述第二损失函数...

【专利技术属性】
技术研发人员：李亚桃，
申请(专利权)人：云南师范大学，
类型：发明
国别省市：