【技术实现步骤摘要】
本文件涉及多模态模型训练，尤其涉及一种模型的处理方法及装置。
技术介绍
1、在一些数据源比较丰富的应用场景中(如：交易投诉的审理场景)，通常会包括文本、结构化数据、图片等各种模态的数据。将上述多种模态数据用于下游任务时，基于上述不同模态的数据进行模型训练，从而获取融合特征，能够使下游任务更好地学习到当前场景下数据本身的特征和特定任务的知识。而且随着用户对自己的隐私数据越来越重视，基于多种模态数据获取融合特征的处理方式，有利于提高数据安全性。因此，为了获取更加适应场景的多模态融合特征，需要提供一种基于文本和结构化数据的模型训练方式。
技术实现思路
1、一方面，本说明书一个或多个实施例提供一种模型的处理方法，包括：获取预设场景下多个目标主体的文本信息样本和对应的结构化信息样本；将每个目标主体的所述文本信息样本和结构化信息样本分别输入语义增强模型，得到语义增强处理后的文本表征信息和结构化表征信息，所述语义增强模型用于增强文本信息与对应的预设场景之间的匹配度以及结构化信息与对应的预设场景之间的匹配度；基于所述语义增强处理后的文本表征信息和结构化表征信息确定正样本对和负样本对，所述正样本对基于同一目标主体的语义增强处理后的文本表征信息和结构化表征信息构建，所述负样本对基于不同目标主体的语义增强处理后的文本表征信息和结构化表征信息构建；将所确定的正样本对或负样本对输入表征融合模型，得到每个目标主体对应的融合表征信息，并基于所述文本信息样本、结构化信息样本、文本表征信息、结构化表征信息、融合表征
2、另一方面，本说明书一个或多个实施例提供一种模型的处理方法，包括：获取预设场景下多个目标主体的文本信息样本和对应的结构化信息样本；将每个目标主体的所述文本信息样本和结构化信息样本分别输入多模态领域预训练模型中的语义增强子模型中，得到语义增强处理后的文本表征信息和结构化表征信息，所述语义增强模型用于增强文本信息与对应的预设场景之间的匹配度以及结构化信息与对应的预设场景之间的匹配度；基于所述语义增强处理后的文本表征信息和结构化表征信息确定正样本对和负样本对，所述正样本对基于同一目标主体的语义增强处理后的文本表征信息和结构化表征信息构建，所述负样本对基于不同目标主体的语义增强处理后的文本表征信息和结构化表征信息构建；将所确定的正样本对或负样本对输入所述多模态领域预训练模型中的表征融合子模型中，通过对比学习的方式得到每个目标主体对应的融合表征信息，并基于所述融合表征信息以及预设的损失函数，对所述多模态领域预训练模型进行模型训练，直到所述预设的损失函数收敛，得到训练后的多模态领域预训练模型。
3、再一方面，本说明书一个或多个实施例提供一种模型的处理装置，包括：训练样本获取模块，获取预设场景下多个目标主体的文本信息样本和对应的结构化信息样本；语义增强模块，将每个目标主体的所述文本信息样本和结构化信息样本分别输入语义增强模型，得到语义增强处理后的文本表征信息和结构化表征信息，所述语义增强模型用于增强文本信息与对应的预设场景之间的匹配度以及结构化信息与对应的预设场景之间的匹配度；样本对确定模块，基于所述语义增强处理后的文本表征信息和结构化表征信息确定正样本对和负样本对，所述正样本对基于同一目标主体的语义增强处理后的文本表征信息和结构化表征信息构建，所述负样本对基于不同目标主体的语义增强处理后的文本表征信息和结构化表征信息构建；联合训练模块，将所确定的正样本对或负样本对输入表征融合模型，得到每个目标主体对应的融合表征信息，并基于所述文本信息样本、结构化信息样本、文本表征信息、结构化表征信息、融合表征信息以及预设的损失函数，对所述语义增强模型，以及通过对比学习的方式对所述表征融合模型进行联合训练，直到所述预设的损失函数收敛，得到训练后的语义增强模型和表征融合模型，所述表征融合模型通过对比学习的方式进行模型训练。
4、再一方面，本说明书一个或多个实施例提供一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，在可执行指令被执行时，能够使得处理器：获取预设场景下多个目标主体的文本信息样本和对应的结构化信息样本；将每个目标主体的文本信息样本和结构化信息样本分别输入语义增强模型，得到语义增强处理后的文本表征信息和结构化表征信息，语义增强模型用于增强文本信息与对应的预设场景之间的匹配度以及结构化信息与对应的预设场景之间的匹配度；基于语义增强处理后的文本表征信息和结构化表征信息确定正样本对和负样本对，正样本对基于同一目标主体的语义增强处理后的文本表征信息和结构化表征信息构建，负样本对基于不同目标主体的语义增强处理后的文本表征信息和结构化表征信息构建；将所确定的正样本对或负样本对输入表征融合模型，得到每个目标主体对应的融合表征信息，并基于文本信息样本、结构化信息样本、文本表征信息、结构化表征信息、融合表征信息以及预设的损失函数，对语义增强模型，以及通过对比学习的方式对表征融合模型进行联合训练，直到预设的损失函数收敛，得到训练后的语义增强模型和表征融合模型。
5、再一方面，本说明书一个或多个实施例提供存储介质，用于存储计算机程序，所属计算机程序能够被处理器执行以实现以下流程：获取预设场景下多个目标主体的文本信息样本和对应的结构化信息样本；将每个目标主体的文本信息样本和结构化信息样本分别输入语义增强模型，得到语义增强处理后的文本表征信息和结构化表征信息，语义增强模型用于增强文本信息与对应的预设场景之间的匹配度以及结构化信息与对应的预设场景之间的匹配度；基于语义增强处理后的文本表征信息和结构化表征信息确定正样本对和负样本对，正样本对基于同一目标主体的语义增强处理后的文本表征信息和结构化表征信息构建，负样本对基于不同目标主体的语义增强处理后的文本表征信息和结构化表征信息构建；将所确定的正样本对或负样本对输入表征融合模型，得到每个目标主体对应的融合表征信息，并基于文本信息样本、结构化信息样本、文本表征信息、结构化表征信息、融合表征信息以及预设的损失函数，对语义增强模型，以及通过对比学习的方式对表征融合模型进行联合训练，直到预设的损失函数收敛，得到训练后的语义增强模型和表征融合模型。
本文档来自技高网...【技术保护点】
1.一种模型的处理方法，包括：
2.根据权利要求1所述的方法，所述语义增强模型中包括掩码语言子模型和语义增强子模型，所述将每个目标主体的所述文本信息样本和结构化信息样本分别输入语义增强模型，得到语义增强处理后的文本表征信息和结构化表征信息，包括：
3.根据权利要求2所述的方法，所述正样本对和负样本对是基于文本表征信息和所述文本表征信息对应的融合表征信息构建的样本对，所述掩码语言子模型中的损失函数包括交叉熵损失函数和均方误差损失函数，所述交叉熵损失函数用于训练所述目标主体的文本信息样本，所述均方误差损失函数用于训练所述目标主体的结构化信息样本。
4.根据权利要求1所述的方法，所述融合表征信息基于所述目标主体的文本信息、数值信息以及类别信息确定。
5.根据权利要求1所述的方法，还包括：
6.根据权利要求1所述的方法，所述预设场景包括：交易审理场景、金融场景、风险评估场景。
7.根据权利要求1所述的方法，所述获取预设场景下多个目标主体的文本信息样本和对应的结构化信息样本，包括：
8.一种模型的处理方法，
9.一种模型的处理装置，包括：
10.一种电子设备，包括：
...【技术特征摘要】
1.一种模型的处理方法，包括：
2.根据权利要求1所述的方法，所述语义增强模型中包括掩码语言子模型和语义增强子模型，所述将每个目标主体的所述文本信息样本和结构化信息样本分别输入语义增强模型，得到语义增强处理后的文本表征信息和结构化表征信息，包括：
3.根据权利要求2所述的方法，所述正样本对和负样本对是基于文本表征信息和所述文本表征信息对应的融合表征信息构建的样本对，所述掩码语言子模型中的损失函数包括交叉熵损失函数和均方误差损失函数，所述交叉熵损失函数用于训练所述目标主体的文本信息样本，所述均方误差损失函数用于训练...
【专利技术属性】
技术研发人员：贾雪艳，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。