【技术实现步骤摘要】
本专利技术涉及自然语言处理技术与深度学习领域，特别是一种基于文本、语音的多模态电力客户情感分析方法及系统。
技术介绍
1、供电优质服务是电网企业的生命线。国家电网公司的目标是为全体电力用户提供服务，满足客户多样化的用电需求。随着用电需求的不断丰富，客户诉求的数量逐年增加，服务风险防控面临巨大压力。近年来，新型电力系统建设深入推进，客户诉求的增幅已达到五年内年均20.48％。各渠道的服务风险统筹监测能力亟待提升。为了提升“获得电力”服务水平，国家电网公司于2020年推出了九项举措，旨在提供更省心的办电流程、更便捷的服务和更可靠的用电保障。这些举措不仅强化了供电服务的规范性，还全面提升了客户的用电体验。2021年，国家电网公司制定了《卓越服务提升工程行动计划》，明确要求增强供电服务保障能力，持续优化电力营商环境，争取到2025年实现“现代化、数字化、精益化”和“高品质、高效能、高质量”的卓越服务目标。在2023年，国家电网公司启动了电力优化营商环境再提升三年行动，强调加快营业厅智能转型升级，强化运营管理。同时，探索应用人工智能技术进行自动巡检，分析营业厅音视频信息，以辅助服务异常监测和智能预警，从而更好地满足广泛的电力客户需求。
2、当前客户服务工作存在风险强关联因素客户情感准确分析困难等问题，是客户服务风险所面临的核心问题；
3、cn108319666a公开了一种基于多模态舆情分析的供电服务评估方法，涉及一种供电服务评估方法。包括以下步骤：基于增减分量法和长短时记忆网络的方法进行语音特征情感识别；基于wor
技术实现思路
1、为解决现有技术中存在的不足，本专利技术提供一种基于文本、语音的多模态电力客户情感分析方法及系统；通过分析语音的语调和强度以及文本中使用的词汇，可以更准确地识别电力客户的情感状态，从而为电力客户提供更优质的个性化服务。
2、本专利技术采用如下的技术方案。
3、本专利技术的第一方面提供了一种基于文本、语音的多模态电力客户情感分析方法，包括如下内容：
4、采集客户服务文本数据和客户服务语音数据，并进行预处理；所述客户服务文本数据包括社交媒体客户交互信息、客服对话文本和用户评论，所述客户服务语音数据包括线上通话、语音服务记录和模拟对话场景记录；
5、将预处理后的客户服务文本数据输入到基于bert的文本情感识别模型中提取文本数据模态的特征；
6、将预处理后的客户服务语音数据输入到基于transformer的语音情感识别模型中运用注意力机制提取语音数据模态的特征；
7、基于注意力机制对文本和语音数据模态的特征进行加权融合；
8、将融合后的文本和语音数据模态的特征，通过条件随机场crf层标注分类模型输出的情感倾向。
9、优选地，所述预处理具体为：
10、将客户服务文本数据中设定的敏感字段删除或用设定的符号替代；所述敏感字段包括电力客户的身份信息；
11、从客户服务文本数据和客户服务语音数据中取相同数量的样本；
12、对每份样本的情感倾向进行标注，作为标签，标注的情感倾向包括情感极性和情感强度，所述情感极性包括正面情绪、负面情绪和中性情绪，所述情感强度包括强烈、一般和客观。
13、优选地，所述基于bert的文本情感识别模型具体为：
14、采用bert模型对预处理后的客户服务文本数据进行分词，并将分出的每个字和词再转化为融合了上下文信息的向量；将所述向量输入基于注意力机制的cnn结构提取局部序列特征；再将局部序列特征输入lstm双通道模型，从字与词两个角度融合文本数据特征，得到最终文本序列特征。
15、优选地，所述从字与词两个角度融合文本数据特征，得到最终文本序列特征，具体为：
16、lstm双通道模型通过bilstm网络提取字级和词级的上下文特征hchar和hword：
17、hchar＝{hc1,hc2,...,hct,...,hcn}
18、hword＝{hw1,hw2,...,hwi,...,hwm}
19、其中，hct、hwi分别表示提出的第t个字、第i个词对应的特征，n、m分别为分词分出的字、词的总数；
20、计算分别计算字和词的注意力权重αt和βi：
21、
22、其中，score(hwi,q)、score(hct,q)分别表示lstm双通道模型计算出的hct、hwi的注意力分数；q表示查询向量：
23、将字级和词级特征按权重加权，最终文本序列特征为：
24、
25、其中λ是一个可调参数。
26、优选地，所述注意力分数，具体为：
27、lstm双通道模型通过加性注意力网络来计算分数：
28、score(hφ,q)＝vt tanh(w[hφ；q]+b)
29、其中，hφ＝[hct，hwi]；w表示对应的字或词的可学习的权重矩阵；v表示对应的字或词的可学习的权重向量；[；]表示向量拼接操作；b表示对应的字或词的偏置项；tanh表示非线性激活函数。
30、优选地，所述将预处理后的客户服务语音数据输入到基于transformer的语音情感识别模型中运用注意力机制提取语音数据模态的特征，具体为：
31、将输入基于transformer的语音情感识别模型的向量进行位置嵌入，所述位置嵌入为嵌入提供位置信息的向量；然后通过线性层进行多次线性变换，然后将线性变换的结果利用注意力机制在每个头网络上计算注意力权重并加权和，最终将这些加权和的结果进行拼接并再通过输出层进行一次线性变换，得到最终的输出。
32、优选地，所述注意力机制采用多头注意力机制，具体为：
33、headj＝attention(qwjq，kwjk，vwjv)
34、multihead(q，k， v)＝concat(head1，…，headh)
35、headj为第j个单头注意力机制；attention(qwjq，kwjk，vwjv)为注意力机制；qwjq、kwjk、vwjv分别为第j个头的查询投影矩阵、键投影矩阵、值投影矩阵；multihead(q，k， v)为多头注意力机制；concat(head1，…，headh)为将h个头的输出拼接在一起；h为本文档来自技高网...
【技术保护点】
1.一种基于文本、语音的多模态电力客户情感分析方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于文本、语音的多模态电力客户情感分析方法，其特征在于：
3.根据权利要求1所述的一种基于文本、语音的多模态电力客户情感分析方法，其特征在于：
4.根据权利要求3所述的一种基于文本、语音的多模态电力客户情感分析方法，其特征在：
5.根据权利要求4所述的一种基于文本、语音的多模态电力客户情感分析方法，其特征在：
6.根据权利要求1所述的一种基于文本、语音的多模态电力客户情感分析方法，其特征在于：
7.根据权利要求6所述的一种基于文本、语音的多模态电力客户情感分析方法，其特征在于：
8.根据权利要求7所述的一种基于文本、语音的多模态电力客户情感分析方法，其特征在于：
9.根据权利要求8所述的一种基于文本、语音的多模态电力客户情感分析方法，其特征在于
10.一种使用权利要求1-9任一项所述分析方法的一种基于文本、语音的多模态电力客户情感分析系统，包括：采集模块、文本数据特征
...【技术特征摘要】
1.一种基于文本、语音的多模态电力客户情感分析方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于文本、语音的多模态电力客户情感分析方法，其特征在于：
3.根据权利要求1所述的一种基于文本、语音的多模态电力客户情感分析方法，其特征在于：
4.根据权利要求3所述的一种基于文本、语音的多模态电力客户情感分析方法，其特征在：
5.根据权利要求4所述的一种基于文本、语音的多模态电力客户情感分析方法，其特征在：
6.根据权利要求1所述的一种基于文本、语音的多模态电力客...
【专利技术属性】
技术研发人员：钱旭盛，吴明，康雨萌，何玮，周雨奇，张昕，许高俊，王伟，缪猛，程雅梦，
申请(专利权)人：国网江苏省电力有限公司营销服务中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。