【技术实现步骤摘要】
本专利技术涉及数据分析，尤其涉及一种基于多模态模型情感分析的服务质量监测方法和装置。
技术介绍
1、随着科技的发展，实体服务结合互联网技术衍生出一系列数字服务，例如互联网电商、网络出租车（网约车）等，数字服务为人们的生活带来的生活便利性使得其规模急剧增大，然而，急剧增长的规模也导致数字服务出现了参差不齐的服务质量，甚至给消费者带来了人身安全。为了营造良好的数字服务氛围以及提升数字服务质量，有必要构建服务质量监测算法对服务过程及其评价进行分析监管。
2、现有服务质量监测方法主要通过预定义质量监测指标或训练特定的质量监测模型实现相关服务的质量监测；就预定义监测指标而言，现有技术主要围绕传统网络、通讯服务相关的指标构建服务质量评价体系，常用的监测指标包括服务响应时间、服务准确性、服务可靠性等，但往往只能适用于单一数据模态以及固定场景，难以涵盖数字服务这类具备广泛场景的设定；在训练特定的质量监测模型方面，现有技术将服务监测视为二分类或者多分类任务，构建响应的数据集训练质量监测分类模型，由于质量监测分类模型分类类别以及数据集的限制，这类方法的服务质量评级往往比较粗略，且难以对服务质量评级结果给出相关解释，因此，现有服务质量监测方法的服务质量监测可靠性较低。
技术实现思路
1、本专利技术提供了一种基于多模态模型情感分析的服务质量监测方法和装置，解决了现有服务质量监测方法通常只能适用于单一数据模态以及固定场景，服务质量评级往往比较粗略，难以对服务质量评级结果给出相关解释，导致服务质量
2、本专利技术第一方面提供的一种基于多模态模型情感分析的服务质量监测方法，包括：
3、采集待监测服务的文本模态评价数据和非文本模态评价数据；
4、对所述非文本模态评价数据进行特征提取映射，确定目标非文本模态评价表征；
5、采用所述文本模态评价数据与预定义提示词模板进行结合，生成文本评价提示语；
6、将所述文本评价提示语与所述目标非文本模态评价表征输入预设的大语言模型基座进行情感分析，输出情感分析结果；
7、根据所述情感分析结果和所述文本评价提示语计算服务质量监测分数，并解码所述情感分析结果得到服务质量监测结果解释。
8、可选地，述非文本模态评价数据包括图像模态评价数据和音频模态评价数据；所述对所述非文本模态评价数据进行特征提取映射，确定目标非文本模态评价表征，包括：
9、采用预设的视觉表征提取器对图像模态评价数据进行特征提取，输出中间图像模态评价表征；
10、基于预设的音频表征提取器对音频模态评价数据进行特征提取，输出中间音频模态评价表征；
11、通过预设的表征映射器对所述中间图像模态评价表征和所述间音频模态评价表征进行维度对齐，生成确定目标图像模态评价表征和目标音频模态评价表征。
12、可选地，所述预定义提示词模板包括任务定义、情感定义和评价文本。
13、可选地，所述服务质量监测分数的计算过程包括：
14、；
15、其中，；
16、式中，为服务质量监测分数，为情感分析结果的token序列，为情感分析结果的token序列中的第个token，为情感分析结果的token序列的长度，为概率分数，为预定义提示词模板，为任务定义，为情感定义，为评价文本，为目标图像模态评价数据，为目标音频模态评价数据，为多模态大模型权重。
17、可选地，还包括：
18、采用非文本模态训练评价数据、问题文本和模型回复真值构建映射训练数据集；
19、通过所述视觉表征提取器或所述音频表征提取器对所述非文本模态训练评价数据进行特征提取，输出对应的第一非文本模态训练表征；
20、基于初始表征映射器对各所述第一非文本模态训练表征采用相应非文本模态的映射矩阵进行特征映射，得到对应的第二非文本模态训练表征；
21、采用所述大语言模型基座依次所述问题文本以及所述第二非文本模态训练表征作为输入，并输出对所述问题文本的回复预测值；
22、基于各所述回复预测值与对应的模型回复真值依次对各映射矩阵进行反向迭代更新，确定各非文本模态的表征映射器。
23、可选地，还包括：
24、获取文本模态微调评价数据、非文本模态微调评价数据和对应的微调回复真值；
25、通过所述视觉表征提取器或所述音频表征提取器对所述非文本模态微调评价数据进行特征提取后，采用所述表征映射器进行特征映射，输出对应的非文本模态微调评价表征；
26、采用所述文本模态微调评价数据构建微调提示语，并采用所述微调提示语与对应的非文本模态微调评价表征和微调回复真值构建微调数据集；
27、采用所述微调数据集基于低秩微调方法对所述表征映射器的映射矩阵和所述大语言模型基座进行微调，得到新的表征映射器和新的大语言模型基座。
28、本专利技术第二方面提供的一种基于多模态模型情感分析的服务质量监测装置，包括：
29、数据获取模块，用于采集待监测服务的文本模态评价数据和非文本模态评价数据；
30、特征处理模块，用于对所述非文本模态评价数据进行特征提取映射，确定目标非文本模态评价表征；
31、提示语构建模块，用于采用所述文本模态评价数据与预定义提示词模板进行结合，生成文本评价提示语；
32、情感分析模块，用于将所述文本评价提示语与所述目标非文本模态评价表征输入预设的大语言模型基座进行情感分析，输出情感分析结果；
33、服务质量监测模块，用于根据所述情感分析结果和所述文本评价提示语计算服务质量监测分数，并解码所述情感分析结果得到服务质量监测结果解释。
34、本专利技术第三方面提供的一种计算机设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述任一项所述的基于多模态模型情感分析的服务质量监测方法的步骤。
35、本专利技术第四方面提供的一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如上述任一项所述的基于多模态模型情感分析的服务质量监测方法。
36、本专利技术第五方面提供的一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现如上述任一项所述的基于多模态模型情感分析的服务质量监测方法。
37、从以上技术方案可以看出，本专利技术具有以下优点：
38、本专利技术的上述方案提供了一种基于多模态模型情感分析的服务质量监测方法，包括：采集待监测服务的文本模态评价数据和非文本模态评价数据；对非文本模态评价数据进行特征提取映射，确定目标非文本模态评价表征；采用文本模态评价数据与预定义提示词模板进行结合，生成文本评价提示语；将文本评价提示语与目标非文本模态评价表征输入预设的大语言模型基座进行情感分析，输出情感分析结果；根据情感分析结果本文档来自技高网...
【技术保护点】
1.一种基于多模态模型情感分析的服务质量监测方法，其特征在于，包括：
2.根据权利要求1所述的基于多模态模型情感分析的服务质量监测方法，其特征在于，所述非文本模态评价数据包括图像模态评价数据和音频模态评价数据；所述对所述非文本模态评价数据进行特征提取映射，确定目标非文本模态评价表征，包括：
3.根据权利要求1所述的基于多模态模型情感分析的服务质量监测方法，其特征在于，所述预定义提示词模板包括任务定义、情感定义和评价文本。
4.根据权利要求1所述的基于多模态模型情感分析的服务质量监测方法，其特征在于，所述服务质量监测分数的计算过程包括：
5.根据权利要求2所述的基于多模态模型情感分析的服务质量监测方法，其特征在于，还包括：
6.根据权利要求2所述的基于多模态模型情感分析的服务质量监测方法，其特征在于，还包括：
7.一种基于多模态模型情感分析的服务质量监测装置，其特征在于，包括：
8.一种计算机设备，其特征在于，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所
9.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现如权利要求1-6任一项所述的基于多模态模型情感分析的服务质量监测方法的步骤。
10.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现如权利要求1-6任一项所述的基于多模态模型情感分析的服务质量监测方法的步骤。
...【技术特征摘要】
1.一种基于多模态模型情感分析的服务质量监测方法，其特征在于，包括：
2.根据权利要求1所述的基于多模态模型情感分析的服务质量监测方法，其特征在于，所述非文本模态评价数据包括图像模态评价数据和音频模态评价数据；所述对所述非文本模态评价数据进行特征提取映射，确定目标非文本模态评价表征，包括：
3.根据权利要求1所述的基于多模态模型情感分析的服务质量监测方法，其特征在于，所述预定义提示词模板包括任务定义、情感定义和评价文本。
4.根据权利要求1所述的基于多模态模型情感分析的服务质量监测方法，其特征在于，所述服务质量监测分数的计算过程包括：
5.根据权利要求2所述的基于多模态模型情感分析的服务质量监测方法，其特征在于，还包括：
6.根据权利要求2所述的基于多模态模型情感分...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。