一种数据处理方法、数据处理装置、电子设备及存储介质制造方法及图纸

本发明专利技术提供一种数据处理方法、数据处理装置及电子设备。方法包括：获取目标交互场景对应的微调训练样本集，微调训练样本集包括微调训练样本和微调训练样本对应的意图标签。通过意图识别模型中第一模块对所述微调训练样本进行语义编码，通过意图识别模型中的第二模块对语义编码结果进行意图预测，得到微调训练样本对应的意图预测结果，第一模块是基于目标交互场景的关联场景中历史对话数据对和单头注意力机制进行无监督预训练得到的。基于微调训练样本的意图标签和微调训练样本的意图预测结果对第二模块进行微调训练。本发明专利技术能够快速完成用于意图识别模型的训练，并减小对于标注样本的依赖，特别适用于冷启动和小样本支持的应用场景。应用场景。应用场景。

【技术实现步骤摘要】
一种数据处理方法、数据处理装置、电子设备及存储介质


[0001]本申请属于人工智能
，尤其涉及一种数据处理方法、数据处理装置、电子设备及存储介质。

技术介绍

[0002]人机交互的核心是机器识别用户的意图，以针对用户的意图输出准确的反馈信息。机器识别用户的意图通常是基于语言模型实现的，目前常用的几种语言模型的结构都极为复杂，以主流的基于转换器的双向编码器表征(Bidirectional Encoder Representations from Transformers，Bert)模型为例，型中的各种功能层可以高达数百个，参数更是达到了上亿数量级，这导致此类语言模型的运算量十分庞大，训练效率相对较低。
[0003]为此，如何在不影响模型性能的基础上，更加快捷地训练得到意图识别模型，是当前亟需解决的技术问题。

技术实现思路

[0004]本申请目的是提供一种数据处理方法、数据处理装置、电子设备及存储介质，在不影响模型性能的基础上，更加快捷地对意图识别模型完成训练。
[0005]为了实现上述目的，本申请实施例是这样实现的：
[0006]第一方面，提供一种数据处理方法，包括：
[0007]获取目标交互场景对应的微调训练样本集，所述微调训练样本集包括微调训练样本和所述微调训练样本对应的意图标签；
[0008]通过意图识别模型中的第一模块对所述微调训练样本进行语义编码，并通过所述意图识别模型中的第二模块对语义编码结果进行意图预测，得到所述微调训练样本对应的意图预测结果，所述第二模块不同于所述第一模块；
[0009]基于所述微调训练样本对应的意图标签和所述微调训练样本对应的意图预测结果对所述第二模块进行微调训练。
[0010]第二方面，提供一种数据处理装置，包括：
[0011]样本获取单元，获取目标交互场景对应的微调训练样本集，所述微调训练样本集包括微调训练样本和所述微调训练样本对应的意图标签；
[0012]预测单元，通过意图识别模型中的第一模块对所述微调训练样本进行语义编码，并通过所述意图识别模型中的第二模块对语义编码结果进行意图预测，得到所述微调训练样本对应的意图预测结果，所述第二模块不同于所述第一模块；
[0013]微调训练单元，基于所述微调训练样本对应的意图标签和所述微调训练样本对应的意图预测结果对所述第二模块进行微调训练。
[0014]第三方面，提供一种电子设备包括：存储器，用于存储一条或多条计算机程序；处理器，用于加载上述第一方面的方法。
[0015]第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有一条或多条计算机程序，所述一条或多条计算机程序被处理器执行时实现上述第一方面的方法。
[0016]本申请考虑到不管是哪种交互场景的意图识别模型，其底层的将交互数据语义编码为机器语言的逻辑是相互通用的，只有基于语义编码结果进行意图预测的过程才会涉及具体应用场景的意图分类，因此将意图识别模型划分为负责进行语义编码的第一模块和负责进行意图预测的第二模块，并只对第二模块使用已标注的训练样本集进行微调训练。相比于传统的对全模型进行微调训练的方式，本专利技术只对意图识别模型中的第二模块进行微调训练，能够在不影响模型性能的基础上，大幅简化了运算量，从而提高了训练效率。同时，第一模块不需要进行微调训练可以减少对于标注的训练样本的使用量，特别适用于冷启动和小样本支持这类没有条件完成训练样本标注的环境。并且，本申请中第一模块是基于目标交互场景相关的关联场景中历史对话数据对和单头注意力机制进行无监督预训练得到的，应当理解的，采用关联场景中历史对话数据对进行无监督预训练不仅可以省去数据标注，还可以保证预训练完成的第一模块更好的适用于目标交互场景。另外，单头注意力机制与传统的双头注意力机制相比，可以降低训练过程中数据维度，从而提升训练速度。
附图说明
[0017]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0018]图1为本专利技术实施例提供的一种机器人语音外呼场景的示意图。
[0019]图2为本专利技术实施例提供的数据处理方法的流程示意图。
[0020]图3为本专利技术实施例提供的一种多头注意力机制与单头注意机制之间的结构对比示意图。
[0021]图4为本专利技术实施例提供的意图识别模型的第一种结构示意图。
[0022]图5为本专利技术实施例提供的意图识别模型的第二种结构示意图。
[0023]图6为本专利技术实施例提供的意图识别模型投用于交互场景的流程示意图。
[0024]图7为本专利技术实施例提供的意图识别模型投用于机器人语音外呼场景的流程示意图。
[0025]图8为本专利技术实施例提供的数据处理装置的结构示意图。
[0026]图9为本专利技术实施例提供的电子设备的结构示意图。
具体实施方式
[0027]为了使本
的人员更好地理解本说明书中的技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
[0028]人机交互是指用户与机器之间交互过程中，机器理解用户的意图并执行的技术。人机交互常应用在自助业务办理、机器人语音外呼、自助驾驶等领域。
[0029]这里以机器人语音外呼场景为例，目前的机器人语音外呼常见应用是机器人通过致电的方式核实用户的业务操作是否为本人执行，对应的大致流程如图1所示，包括：
[0030]1)机器人外呼用户，询问业务操作是否为本人执行。
[0031]2)用户直接回答机器人的询问，或者，在不信任情况下反问机器人的身份；如果用户反问机器人的身份，则继续执行下述步骤：
[0032]3)如果用户反问机器的人身份，则机器人回答用户的反问；以及，
[0033]4)用户在机器人回答后，确定机器人的致电目的，并告知业务操作是否为本人执行。
[0034]从图1所示的语音外呼场景可以看出，当机器人致电用户询问业务操作后，用户可能回答机器人的询问，也有可能不回答而反问机器人的身份。如果机器人不能准确理解用户回复的意图，比如用户反问机器人的身份时，机器人无法正确回答，则很大可能用户会直接挂断来电，导致本次针对用户的业务操作的核实失败。
[0035]可见，人机交互的核心是机器识别用户的意图，并按照用户的意图反馈信息。
[0036]现阶段几种常见的意图识别模型都具有十分复杂的结构，以主流的基于转换器的双向编码器表征(Bidirectional Encoder本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取目标交互场景对应的微调训练样本集，所述微调训练样本集包括微调训练样本和所述微调训练样本对应的意图标签；通过意图识别模型中第一模块对所述微调训练样本进行语义编码，并通过所述意图识别模型中的第二模块对语义编码结果进行意图预测，得到所述微调训练样本对应的意图预测结果，所述第一模块是预先基于所述目标交互场景的关联场景中历史对话数据对和单头注意力机制进行无监督预训练得到的；基于所述微调训练样本对应的意图标签和所述微调训练样本对应的意图预测结果对所述第二模块进行微调训练。2.根据权利要求1所述的方法，其特征在于，所述基于所述训练样本对应的意图标签和所述训练样本对应的意图预测结果对所述第二模块进行微调训练，包括：确定所述意图标签和所述意图预测结果之间的差异；基于所述意图标签和所述意图预测结果之间的差异确定所述意图识别模型对应的微调训练损失函数；基于所述意图识别模型对应的微调训练损失函数确定微调训练的梯度，并按照所述微调训练的梯度，对所述第二模块的网络参数进行调整。3.根据权利要求1所述的方法，其特征在于，所述第一模块包括相互耦合的第一子网络和第二子网络，在所述通过意图识别模型中的第一模块对所述微调训练样本进行语义编码前，所述方法还包括：获取预训练样本集，所述预训练样本集包括所述目标交互场景相关的关联场景中历史对话数据对，所述历史对话数据对包括提问数据和回答数据；通过所述第一子网络对所述预训练样本集中的提问数据进行特征提取，得到第一文本特征，以及通过所述第二子网络对所述预训练样本集中的回答数据进行特征提取，得到第二文本特征；确定所述第一文本特征和所述第二文本特征之间的匹配度；基于所述第一文本特征和所述第二文本特征之间的匹配度，确定所述第一模块对应的预训练损失函数；基于所述第一模块对应的预训练损失函数，确定预训练的梯度，并按照所述预训练的梯度，对所述第一模块的网络参数进行调整。4.根据权利要求3所述的方法，其特征在于，所述第一子网络包括第一编码子模块和第一单头自注意力子模块，所述第二子网络包括第二编码子模块和第二单头自注意力子模块，所述第一单头自注意力模块和所述第二自注意力模块之间共享参数；所述通过所述第一子网络对所述预训练样本中的提问数据进行特征提取，得到第一文本特征，包括：通过所述第一子网络的第一子编码模块对所述预训练样本中的提问数据进行文本编码处理，并通过所述第一子网络中的第一单头自注意力子模块对提问数据的文本编码处理结果进行特征提取，得到所述第一文本特征；所述通过所述第二子网络对所述预训练样本中的回答数据进行特征提取，得到第二文本特征，包括：
通过所述第二子网络的第二编码子模块对所述预训练样本中的回答数据进行文本编码处理，并通过所述第二子网络中的第二单头自注意力子模块对回答数据的编码处理结果进行特征提取处理，得到所述第二文本特征。5.根据权利要求3所述的方法，其特征在于，所述获取目标交互场景对应的微调训练样本集，包括：确定所述目标交互场景对应的定制微调训练样本集，所述定制微调训练样本集包括定制微调训练样本和所述定制微调训练样本对应的意图标签；...

【专利技术属性】
技术研发人员：丁隆耀，王洪斌，权佳成，李宽，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：