【技术实现步骤摘要】
本专利技术涉及人工智能，可应用于金融科技领域，本专利技术尤其涉及基于多模态模型的投诉检测方法、装置、设备及存储介质。
技术介绍
1、随着评测数据对购买决策的影响力不断增强，对目标产品的当前评测数据进行投诉检测，能够获取到用户反馈的具体问题，通过具体问题改进目标产品，有助于企业迅速响应并解决用户痛点，提升用户体验。
2、然而，当前评测数据的投诉检测过程繁琐，不利于提高当前投诉检测结果的投诉检测效率。其原因在于，现有技术依赖于人工操作的方式，对当前评测数据进行投诉检测，而人工操作的方式会耗费人力资源和时间资源，因此，增加了当前评测数据的投诉检测时间，因此，不利于提高当前评测数据的投诉检测效率。
技术实现思路
1、本专利技术提供一种基于多模态模型的投诉检测方法、装置、计算机设备及存储介质，以解决当前评测数据的投诉检测过程繁琐，不利于提高当前投诉检测结果的投诉检测效率的技术问题。
2、第一方面，提供了一种基于多模态模型的投诉检测方法，包括：
3、获取目标产品的预设评测数据和所述预设评测数据对应的实际投诉检测结果；
4、基于所述预设评测数据中的预设音频数据、预设视频数据、预设文本数据，确定第一训练数据集和第二训练数据集；
5、获取预设的多模态模型在所述第一训练数据集上的第一损失值，获取所述多模态模型在所述第二训练数据集的第二损失值；
6、当所述第一损失值或所述第二损失值满足预设条件时，获取所述多模态模型基于所述预设评测数
7、基于所述预测投诉检测结果和所述实际投诉检测结果之间的差异，训练所述多模态模型，确定训练完成的所述多模态模型；
8、获取所述目标产品的当前评测数据，获取训练完成的所述多模态模型基于所述当前评测数据输出的当前投诉检测结果。
9、进一步地，所述基于所述预设评测数据中的预设音频数据、预设视频数据、预设文本数据，确定第一训练数据集和第二训练数据集，包括：
10、基于所述预设文本数据，获取所述预设音频数据对应的多个正样本对和所述预设音频数据对应的多个负样本对，获取所述预设视频数据对应的多个正样本对和所述预设视频数据对应的多个负样本对；
11、基于所述预设音频数据对应的多个正样本对和所述预设音频数据对应的多个负样本对，组成第一训练数据集，基于所述预设视频数据对应的多个正样本对和所述预设视频数据对应的多个负样本对，组成第二训练数据集。
12、进一步地，所述获取预设的多模态模型在所述第一训练数据集上的第一损失值，获取所述多模态模型在所述第二训练数据集的第二损失值，包括：
13、将所述第一训练数据集输入预设的多模态模型中，使用预设的对比损失函数，获取预设的多模态模型在所述第一训练数据集上的第一损失值；
14、将所述第二训练数据集输入所述多模态模型中，使用所述对比损失函数，获取所述多模态模型在所述第二训练数据集的第二损失值。
15、进一步地，所述当所述第一损失值或所述第二损失值满足预设条件时，获取所述多模态模型基于所述预设评测数据输出的预测投诉检测结果，包括：
16、当所述第一损失值或所述第二损失值小于第一预设值时，对所述预设音频数据进行特征提取，得到第一音频特征，对所述预视频数据进行特征提取，得到第一视频特征，对所述预设文本数据进行特征提取，得到第一文本特征；
17、将所述第一音频特征、所述第一视频特征、所述第一文本特征进行融合，得到第一目标特征，将所述第一目标特征输入所述多模态模型，获取所述多模态模型基于所述第一目标特征输出的预测投诉检测结果。
18、进一步地，所述基于所述预测投诉检测结果和所述实际投诉检测结果之间的差异，训练所述多模态模型，确定训练完成的所述多模态模型，包括：
19、获取所述预测投诉检测结果中的预测投诉状态标识和预测投诉类别标识，获取所述实际投诉检测结果中的实际投诉状态标识和实际投诉类别标识,获取所述预测投诉状态标识与所述实际投诉状态标识之间的第三损失值,获取所述预测投诉类别标识与所述实际投诉类别标识之间的第四损失值；
20、将所述第一损失值、所述第二损失值、所述第三损失值、所述第四损失值进行相加，生成总损失值，基于所述总损失值训练所述多模态模型，当所述总损失值小于第二预设值时，停止训练所述多模态模型，保存训练完成的所述多模态模型。
21、进一步地，所述获取所述目标产品的当前评测数据，获取训练完成的所述多模态模型基于所述当前评测数据输出的当前投诉检测结果，包括：
22、获取所述目标产品的当前评测数据，对所述当前评测数据中的当前音频数据进行特征提取，得到第二音频特征，对所述当前评测数据中的当前视频数据进行特征提取，得到第二视频特征，对所述当前评测数据中的当前文本数据进行特征提取，得到第二文本特征；
23、将所述第二音频特征、所述第二视频特征、所述第二文本特征进行融合，得到第二目标特征，将所述第二目标特征输入训练完成的所述多模态模型，获取训练完成的所述多模态模型基于所述第二目标特征输出的当前投诉检测结果。
24、进一步地，在所述获取所述目标产品的当前评测数据，获取训练完成的所述多模态模型基于所述当前评测数据输出的当前投诉检测结果之后，所述投诉检测方法，包括：
25、获取所述目标产品对应的显示页面，通过所述显示页面显示所述当前投诉检测结果，所述当前投诉检测结果包括当前投诉状态标识和当前投诉类别标识。
26、第二方面，提供了一种基于多模态模型的投诉检测装置，包括：
27、第一获取模块，用于获取目标产品的预设评测数据和所述预设评测数据对应的实际投诉检测结果；
28、第一确定模块，用于基于所述预设评测数据中的预设音频数据、预设视频数据、预设文本数据，确定第一训练数据集和第二训练数据集；
29、第二获取模块，用于获取预设的多模态模型在所述第一训练数据集上的第一损失值，获取所述多模态模型在所述第二训练数据集的第二损失值；
30、第三获取模块，用于当所述第一损失值或所述第二损失值满足预设条件时，获取所述多模态模型基于所述预设评测数据输出的预测投诉检测结果；
31、第二确定模块，用于基于所述预测投诉检测结果和所述实际投诉检测结果之间的差异，训练所述多模态模型，确定训练完成的所述多模态模型；
32、检测模块，用于获取所述目标产品的当前评测数据，获取训练完成的所述多模态模型基于所述当前评测数据输出的当前投诉检测结果。
33、第三方面，提供了一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述投诉检测方法的步骤。
34、第四方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述投诉检测方法的步骤。<本文档来自技高网...
【技术保护点】
1.一种基于多模态模型的投诉检测方法，其特征在于，包括：
2.根据权利要求1所述的投诉检测方法，其特征在于，所述基于所述预设评测数据中的预设音频数据、预设视频数据、预设文本数据，确定第一训练数据集和第二训练数据集，包括：
3.根据权利要求1所述的投诉检测方法，其特征在于，所述获取预设的多模态模型在所述第一训练数据集上的第一损失值，获取所述多模态模型在所述第二训练数据集的第二损失值，包括：
4.根据权利要求1所述的投诉检测方法，其特征在于，所述当所述第一损失值或所述第二损失值满足预设条件时，获取所述多模态模型基于所述预设评测数据输出的预测投诉检测结果，包括：
5.根据权利要求1所述的投诉检测方法，其特征在于，所述基于所述预测投诉检测结果和所述实际投诉检测结果之间的差异，训练所述多模态模型，确定训练完成的所述多模态模型，包括：
6.根据权利要求1所述的投诉检测方法，其特征在于，所述获取所述目标产品的当前评测数据，获取训练完成的所述多模态模型基于所述当前评测数据输出的当前投诉检测结果，包括：
7.根据权利要求1至6
8.一种基于多模态模型的投诉检测装置，其特征在于，包括：
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述投诉检测方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述投诉检测方法的步骤。
...【技术特征摘要】
1.一种基于多模态模型的投诉检测方法，其特征在于，包括：
2.根据权利要求1所述的投诉检测方法，其特征在于，所述基于所述预设评测数据中的预设音频数据、预设视频数据、预设文本数据，确定第一训练数据集和第二训练数据集，包括：
3.根据权利要求1所述的投诉检测方法，其特征在于，所述获取预设的多模态模型在所述第一训练数据集上的第一损失值，获取所述多模态模型在所述第二训练数据集的第二损失值，包括：
4.根据权利要求1所述的投诉检测方法，其特征在于，所述当所述第一损失值或所述第二损失值满足预设条件时，获取所述多模态模型基于所述预设评测数据输出的预测投诉检测结果，包括：
5.根据权利要求1所述的投诉检测方法，其特征在于，所述基于所述预测投诉检测结果和所述实际投诉检测结果之间的差异，训练所述多模态模型，确定训练完成的所述多模态模型，包括：
6.根据权利要...
【专利技术属性】
技术研发人员：舒畅，陈远旭，姚敏欣，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。