一种抑郁症状的信息评估方法技术

本发明专利技术公开了一种抑郁症状的信息评估方法，分析来访者与心理医生的面谈内容，并从面谈音频和文字译本中语音特征与文字嵌入特征进行融合，对来访者对应的抑郁症相关心理量表评分，提高在不限制面谈内容的情况下评估的准确度。本发明专利技术能够为心理医生提供客观的抑郁症辅助评估方法以及快速、有效和经济的抑郁症状自我评估。

【技术实现步骤摘要】
一种抑郁症状的信息评估方法
本专利技术属于信息分析处理领域，涉及多模态融合技术，尤其是通过语音与文本融合可用于抑郁症状评估的方法。
技术介绍
抑郁症是一种全球性的精神疾病，其主要特征包括情绪体验、交流和自我调节的中断。世界上有2.64亿人患有抑郁症。在最糟糕的情况下，抑郁可能导致自残甚至自杀。根据世界卫生组织(WHO)的报告，每年约有80万人因重度抑郁症而死亡。有研究表明，在抑郁症的早期发展进行干预对阻止抑郁症进一步发展至关重要。然而，在某些情况下，对抑郁症的早期干预可能很困难。首先，传统的抑郁症治疗方法，如心理治疗或药物治疗疗程较长，费用昂贵，且治疗效果不一定理想，上述因素会使得经济情况窘迫的病人不愿就医。其次，心理医生通常根据临床访谈、评分量表和自我评估来评估抑郁症的严重程度。然而，由于担心诊断结果会给带来歧视或其他负面后果，患者有时会故意向心理医生隐瞒自己的真实情况。负面后果包括对抑郁症患者的偏见、成见和歧视行为，这是阻止抑郁症患者向专业医生寻求帮助的主要因素。因此。基于上述两点，心理学家甚至无法正确评估抑郁症的严重程度，更不用说采取有效的干预措施了。有鉴于此，一个高效的抑郁症自动检测系统就成为一种必要，它可以帮助潜在的患者私下评估自己的病情，并提高他们对向心理医生寻求帮助的意愿。此外，当病人有意误导时，一个有效的抑郁症自动检测系统也能够在诊断过程中为心理学家提供客观的检测手段，提供辅助参考。综上所述，抑郁症的早期干预可以通过向专业心理医生和真正的病人提供客观的抑郁检测系统来实现。研究结果表明，抑郁症对非语言行为和语言行为都有影响，包括面部表情、声调、语法、语义等。在这些理论和研究的推动下，抑郁症自动检测系统倾向于模拟临床诊断，分析患者的语言表现、面部表情和声音特征。目前，抑郁症的自动检测方法通常利用多源信息，如音频、视频和面谈的文字译本。抑郁症自动检测过程包括两个步骤。第一步，收集来访者说话的音频或视频，这些来访者会回答心理医生精心设计的问题。文本内容也会从这些音频和视频中提取出来，以提高诊断的准确性。第二步，根据采集到的语音特征、回答内容等信息，利用算法自动分析和评估抑郁程度。虽然研究人员在提高抑郁症检测准确率方面取得了一些进展，但在实践中仍存在很大的困难。首先，由于隐私问题，临床面谈的视频可能无法获取。其次，患者可能会无意识或有意地错误地报告自己的精神状态，从而误导诊断。第三，如何从不同源数据提取和融合具有代表性的特征需要进一步的研究。因此，抑郁症的自动检测对该领域的研究者来说仍然是一项具有挑战性的任务。
技术实现思路
本专利技术的目的在于提供一种抑郁症状的信息评估方法，通过客观和定量的衡量方法对来访者对应的抑郁症相关心理量表评分。。为达到上述目的，本专利技术的解决方案是：一种抑郁症状的信息评估方法，分析来访者与心理医生的面谈内容，并从面谈音频和文字译本中语音特征与文字嵌入特征进行融合，对来访者对应的抑郁症相关心理量表评分，提高在不限制面谈内容的情况下评估的准确度。进一步，包括以下步骤：(1)从来访者面谈的音频中提取梅尔频谱特征，作为语音特征；使用ELMo将来访者面谈的文字译本转换为句子嵌入，作为文本特征；(2)使用一维卷积神经网络(1D-CNN)将语音特征转换为语音嵌入xaudio；一维卷积神经网络的权重为ωaudio；(3)使用带注意力层的双向长短时记忆网络(BiLSTMwithanAttentionLayer)将文本特征转换为文本嵌入xtext；该网络的权重为ωtext；(4)将语音嵌入和文本嵌入连接后输入两层全连接网络得到最终的二分类标签(是否抑郁症)或回归结果(抑郁量表分数)，该融合网络使用的损失函数为：其中xm为语音嵌入或文本嵌入；ωm为网络权重；y为二分类标签；在二分类情况下，l为交叉熵；在回归情况下，l为Huber损失函数。对于本专利技术，共需要训练3个神经网络。第一个神经网络为一维卷积神经网络，第二个神经网络为带注意力层的双向长短时记忆网络，第三个神经网络为两层全连接网络，其作用为融合语音嵌入xaudio和文本嵌入xtext，并输出最终的检测结果。第三个神经网络，融合了一维卷积神经网络和带注意力层的双向长短时记忆网络；在训练第三个神经网络时，前两个网络的参数被冻结，不在后向传播中改变，唯一改变的参数只有两层全连接网络的参数。所述步骤(1)中，从来访者面谈的音频中提取梅尔频谱特征，作为语音特征，包括以下步骤：(1-1)将来访者面谈音频在去除静音后切割成长度为15s的音频片段，使用80个梅尔滤波器将其转换为梅尔频谱；若去除静音后的音频片段不足15s，则用0.0001填补剩余音频片段后再将其转换为梅尔频谱；每个来访者的面谈音频会被转换成一个梅尔频谱图。梅尔频谱图是通过将短时傅里叶变换幅度系数与相应的梅尔滤波器相乘计算得到，可以被认为是声谱图的非线性变换。其保持了声音的高层次细节，同时也提供了具有较好识别能力的低水平描述子。频谱图和梅尔频谱图的关系为：所述步骤(1)中，使用ELMo将来访者面谈的文字译本转换为句子嵌入，作为文本特征，包括以下步骤：(1-2)将文字译本中对属于同一个问题的回答连接成一个长句，将其编码成ELMo三层嵌入的平均值；ELMo对上下文中单词的不同类型的句法和语义信息进行编码；每个问题的回答长句会转换成一个句向量；每个来访者对于不同的10个问题的回答会被转换成句向量矩阵，该矩阵行数为10。所述步骤(2)中，使用一维卷积神经网络(1D-CNN)将语音特征转换为语音嵌入xtext，一维卷积神经网络由两个卷积层和两个池化层构成；在检测来访者是否患有抑郁症时，两个卷积层的卷积核大小为(1,7)，步长为1；在检测来访者的抑郁心理量表分数时，两个卷积层的卷积核大小为(1,7)，第一个卷积层的步长为1，第二个卷积层的步长为2。所述步骤(3)中，使用带注意力层的双向长短时记忆网络(BiLSTMwithanAttentionLayer)将文本特征转换为文本嵌入xtext，双向长短时记忆网络隐藏层数为2，隐藏层维数为128，随机丢弃神经元概率为0.5。所述步骤(3)中，使用带注意力层的双向长短时记忆网络(BiLSTMwithanAttentionLayer)将文本特征转换为文本嵌入xtext，其注意力层定义为：ct＝w·tanh(ot)yh＝c·oh其中，X为来访者的句向量矩阵；H是双向长短时记忆网络(BiLSTM)的隐藏状态；和分别是BiLSTM的前向输出和后向输出；O的大小为时间步*隐藏层维数；ot为O的第t个时间步；w为隐藏状态H的权重；ct为加权上下文c处于时间t的值；oh为O的第h维；yh为输出的第h维；该输出即为生成的文本嵌入。所述步骤(4)中，将语音嵌入和文本嵌入连接，连接方式为：a＝BiLSTM(xtext)b＝CNN1D(xaudio)xfuse＝[a1，a2，本文档来自技高网...

【技术保护点】
1.一种抑郁症状的信息评估方法，其特征在于：分析来访者与心理医生的面谈内容，并从面谈音频和文字译本中语音特征与文字嵌入特征进行融合，对来访者对应的抑郁症相关心理量表评分，提高在不限制面谈内容的情况下评估的准确度。/n

【技术特征摘要】
1.一种抑郁症状的信息评估方法，其特征在于：分析来访者与心理医生的面谈内容，并从面谈音频和文字译本中语音特征与文字嵌入特征进行融合，对来访者对应的抑郁症相关心理量表评分，提高在不限制面谈内容的情况下评估的准确度。


2.根据权利要求1所述的抑郁症状的信息评估方法，其特征在于，包括以下步骤：
(1)从来访者面谈的音频中提取梅尔频谱特征，作为语音特征；使用ELMo将来访者面谈的文字译本转换为句子嵌入，作为文本特征；
(2)使用一维卷积神经网络将语音特征转换为语音嵌入xaudio；一维卷积神经网络的权重为ωaudio；
(3)使用带注意力层的双向长短时记忆网络将文本特征转换为文本嵌入xtext；该网络的权重为ωtext；
(4)将语音嵌入和文本嵌入连接后输入两层全连接网络得到最终的二分类标签或回归结果，该融合网络使用的损失函数为：



其中xm为语音嵌入或文本嵌入；ωm为网络权重；y为二分类标签；在二分类情况下，l为交叉熵；在回归情况下，l为Huber损失函数。


3.根据权利要求2所述的抑郁症状的信息评估方法，其特征在于：所述步骤(1)中，从来访者面谈的音频中提取梅尔频谱特征，作为语音特征，包括以下步骤：(1-1)
将来访者面谈音频在去除静音后切割成长度为15s的音频片段，使用80个梅尔滤波器将其转换为梅尔频谱；若去除静音后的音频片段不足15s，则用0.0001填补剩余音频片段后再将其转换为梅尔频谱；每个来访者的面谈音频会被转换成一个梅尔频谱图。


4.根据权利要求2所述的抑郁症状的信息评估方法，其特征在于：所述步骤(1)中，使用ELMo将来访者面谈的文字译本转换为句子嵌入，作为文本特征，包括以下步骤：(1-2)将文字译本中对属于同一个问题的回答连接成一个长句，将其编码成ELMo三层嵌入的平均值；每个问题的回答长句会转换成一个句向量；每个来访者对于不同的10个问题的回答会被转换成句向量矩阵，该矩阵行数为10。


5.根据权利要求2所述的抑郁症状的信息评估方法，其特征在于：所述步骤(2)中，使用一维卷积神经网络将语音特征转换为语音嵌入xtext，一维卷积神经网络由两个卷积层和两个池化层构成；在检测来访者是否患有抑郁症时，两个卷积层...

【专利技术属性】
技术研发人员：沈莹，林琳，程诗丹，张林，赵生捷，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海;31