对象关联模型的训练制造技术

根据本公开的实现，提供了对象关联模型的训练的方案。根据该方案，获取目标语义对象和自然语言的第一文本序列，该第一文本序列包括多个文本单元。确定目标语义对象在第一文本序列中被提及的第一置信度得分。确定在第一文本序列中的第一文本单元被忽略的情况下目标语义对象在第一文本序列中被提及的第二置信度得分；以及至少基于第一置信度得分与第二置信度得分之间的第一置信度差异、第一文本序列和目标语义对象来训练对象关联模型。对象关联模型被配置为确定目标语义对象是否与多个文本单元之一相关联。由此，可以减少标注训练数据集的成本和难度，并且提高标注准确度和效率。并且提高标注准确度和效率。并且提高标注准确度和效率。

【技术实现步骤摘要】
对象关联模型的训练

技术介绍

[0001]在诸如语义解析、智能问答等的人机交互任务中，如何将人类的自然语言中的文本单元与机器所保存和识别的语义对象(例如，实体、处理操作等)进行关联是一项十分重要的环节。为保证快速准确地确定文本单元与语义对象的关联关系，通常可以训练相应的机器学习模型，称为对象关联模型。模型训练过程需要准备大量的训练数据集，然而，对数据集进行标注的工作需要耗费可观的人力成本，并且标注工作难度较大，故训练出的模型无法满足产品需求。因此，期望能够提供仅依赖少量人力成本的模型训练方案。

技术实现思路

[0002]根据本公开的实现，提出了一种用于训练对象关联模型的方案。在该方案中，获取目标语义对象和自然语言的文本序列，文本序列包括多个文本单元。确定目标语义对象在文本序列中被提及的第一置信度得分。确定在文本序列中除第一文本单元被忽略的情况下目标语义对象在文本序列中被提及的第二置信度得分；以及至少基于第一置信度得分与第二置信度得分之间的第一置信度差异、文本序列和目标语义对象来训练对象关联模型，对象关联模型被配置为确定目标语义对象是否与多个文本单元之一相关联。由此，可以显著减少标注训练数据集的成本和难度，并且提高标注准确度和效率。
[0003]提供
技术实现思路
部分是为了简化的形式来介绍对对象的选择，其在下文的具体实施方式中将被进一步描述。
技术实现思路
部分无意标识要求保护的主题的关键特征或主要特征，也无意限制要求保护的主题的范围。
附图说明
[0004]图1示出了能够实施本公开的多个实现的计算设备的框图；
[0005]图2A示出了根据本公开的一些实现的用于在模型训练过程中确定第二关联得分的示意性系统；
[0006]图2B示出了根据本公开的一些实现的用于在模型训练过程中确定第一关联得分的示意性系统；
[0007]图3示出了根据本公开的一些实现的用于训练对象关联模型的过程的流程图；以及
[0008]图4示出了根据本公开的一些实现的用于训练对象关联模型的示例过程的流程图。
[0009]这些附图中，相同或相似参考符号用于表示相同或相似元素。
具体实施方式
[0010]现在将参照若干示例实现来论述本公开。应当理解，论述了这些实现仅是为了使得本领域普通技术人员能够更好地理解且因此实现本公开，而不是暗示对本公开的范围的任何限制。
[0011]如本文所使用的，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。术语“基于”要被解读为“至少部分地基于”。术语“一个实现”和“一种实现”要被解读为“至少一个实现”。术语“另一个实现”要被解读为“至少一个其他实现”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
[0012]如本文中所使用的，术语“模型”可以从训练数据中学习到相应的输入与输出之间的关联，从而在训练完成后可以针对给定的输入，生成对应的输出。模型的生成可以基于机器学习技术。深度学习是一种机器学习算法，通过使用多层处理单元来处理输入和提供相应输出。神经网络模型是基于深度学习的模型的一个示例。在本文中，“模型”也可以被称为“机器学习模型”、“学习模型”、“机器学习网络”或“学习网络”，这些术语在本文中可互换地使用。
[0013]“神经网络”是一种基于深度学习的机器学习网络。神经网络能够处理输入并且提供相应输出，其通常包括输入层和输出层以及在输入层与输出层之间的一个或多个隐藏层。在深度学习应用中使用的神经网络通常包括许多隐藏层，从而增加网络的深度。神经网络的各个层按顺序相连，从而前一层的输出被提供作为后一层的输入，其中输入层接收神经网络的输入，而输出层的输出作为神经网络的最终输出。神经网络的每个层包括一个或多个节点(也称为处理节点或神经元)，每个节点处理来自上一层的输入。
[0014]通常，机器学习大致可以包括三个阶段，即训练阶段、测试阶段和使用阶段(也称为推理阶段)。在训练阶段，给定的模型可以使用大量的训练数据进行训练，不断迭代，直到模型能够从训练数据中获取一致的满足预期目标的推理。通过训练，模型可以被认为能够从训练数据中学习从输入到输出之间的关联(也称为输入到输出的映射)。经训练的模型的参数值被确定。在测试阶段，将测试输入应用到训练后的模型，测试模型是否能够提供正确的输出，从而确定模型的性能。在使用阶段，模型可以被用于基于训练得到的参数值，对实际的输入进行处理，确定对应的输出。
[0015]图1示出了能够实施本公开的多个实现的计算设备100的框图。应当理解，图1所示出的计算设备100仅仅是示例性的，而不应当构成对本公开所描述的实现的功能和范围的任何限制。如图1所示，计算设备100包括通用计算设备形式的计算设备100。计算设备100的组件可以包括但不限于一个或多个处理器或处理设备110、存储器120、存储设备130、一个或多个通信单元140、一个或多个输入设备150以及一个或多个输出设备160。
[0016]在一些实现中，计算设备100可以被实现为各种用户终端或服务终端。服务终端可以是各种服务提供方提供的服务器、大型计算设备等。用户终端诸如是任意类型的移动终端、固定终端或便携式终端，包括移动手机、站点、单元、设备、多媒体计算机、多媒体平板、互联网节点、通信器、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、个人通信系统(PCS)设备、个人导航设备、个人数字助理(PDA)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或者其任意组合，包括这些设备的配件和外设或者其任意组合。还可预见到的是，计算设备100能够支持任意类型的针对用户的接口(诸如“可佩戴”电路等)。
[0017]处理设备110可以是实际或虚拟处理器并且能够根据存储器120中存储的程序来执行各种处理。在多处理器系统中，多个处理单元并行执行计算机可执行指令，以提高计算设备100的并行处理能力。处理设备110可以包括中央处理单元(CPU)、图形处理单元(GPU)、
微处理器、控制器、和/或微控制器等。
[0018]计算设备100通常包括多个计算机存储介质。这样的介质可以是计算设备100可访问的任何可以获得的介质，包括但不限于易失性和非易失性介质、可拆卸和不可拆卸介质。存储器120可以是易失性存储器(例如寄存器、高速缓存、随机访问存储器(RAM))、非易失性存储器(例如，只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存)或其某种组合。存储设备130可以是可拆卸或不可拆卸的介质，并且可以包括机器可读介质，诸如内存、闪存驱动、磁盘或者任何其他介质，其能够用于存储信息和/或数据并且可以在计算设备100内被访问。
[0019]计算设备100可以进一步包括另外的可拆卸/不可拆卸、易失性/非易失性存储介质。尽管未在图1中示出，可以提供用于从可拆卸、非易失性磁盘进行读取或写入的磁盘驱动和用于从可拆卸、非易失性光盘进行读取或写入的光盘驱动。在这些本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机实现的方法，包括：获取目标语义对象和自然语言的第一文本序列，所述第一文本序列包括多个文本单元；确定所述目标语义对象在所述第一文本序列中被提及的第一置信度得分；确定在所述第一文本序列中的第一文本单元被忽略的情况下所述目标语义对象在所述第一文本序列中被提及的第二置信度得分；以及至少基于所述第一置信度得分与所述第二置信度得分之间的第一置信度差异、所述第一文本序列和所述目标语义对象来训练对象关联模型，所述对象关联模型被配置为确定所述目标语义对象是否与所述多个文本单元之一相关联。2.根据权利要求1所述的方法，其中利用已训练的对象预测模型来分别确定所述第一置信度得分和所述第二置信度得分，所述方法还包括：获取针对所述对象预测模型的训练数据，所述训练数据包括第二文本序列、语义对象以及针对所述语义对象的监督信息，针对所述语义对象的所述监督信息指示所述语义对象在所述第二文本序列中是否被提及；以及基于所述训练数据来训练所述对象预测模型。3.根据权利要求1所述的方法，其中训练所述对象关联模型包括：基于所述第一置信度差异，确定针对所述第一文本单元的第一关联得分，所述第一关联得分指示所述目标语义对象与所述第一文本单元相关联的可能性；利用所述对象关联模型，基于所述第一文本序列和所述目标语义对象来确定针对所述第一文本单元的第二关联得分，所述第二关联得分指示所述目标语义对象与所述第一文本单元相关联的可能性；基于所述第一关联得分和所述第二关联得分来构建针对所述对象关联模型的训练目标函数，所述训练目标函数基于所述第一关联得分和所述第二关联得分的组合得分的增加；以及基于所述训练目标函数来更新所述对象关联模型的参数值。4.根据权利要求3所述的方法，其中确定所述第一关联得分包括：获取针对所述目标语义对象的所述监督信息，针对所述目标语义对象的所述监督信息指示所述目标语义对象在所述第一文本序列中是否被提及；如果针对所述目标语义对象的所述监督信息指示所述目标语义对象在所述第一文本序列中被提及，基于所述第一置信度差异来计算所述第一关联得分；以及如果针对所述目标语义对象的所述监督信息指示所述目标语义对象在所述第一文本序列中未被提及，确定所述第一关联得分以指示所述目标语义对象与所述第一文本单元不相关联。5.根据权利要求1所述的方法，其中训练所述对象关联模型包括：确定在所述第一文本序列中的第二文本单元被忽略的情况下所述目标语义对象在所述第一文本序列中被提及的第三置信度得分；以及还基于所述第一置信度得分与所述第三置信度得分之间的第二置信度差异来训练所述对象关联模型。6.根据权利要求5所述的方法，其中还基于所述第二置信度差异来训练所述对象关联
模型包括：基于所述第二置信度差异，确定针对所述第二文本单元的第三关联得分，所述第三关联得分指示所述目标语义对象与所述第二文本单元相关联的可能性；利用所述对象关联模型，基于所述第一文本序列和所述目标语义对象来确定针对所述第二文本单元的第四关联得分，所述第四关联得分指示所述目标语义对象与所述第二文本单元相关联的可能性；基于所述第三关联得分和所述第四关联得分来构建针对所述对象关联模型的训练目标函数，所述训练目标函数基于所述第三关联得分和所述第四关联得分的组合得分的增加；以及基于所述训练目标函数来更新所述对象关联模型的参数值。7.根据权利要求1所述的方法，其中确定所述第二置信度得分包括：将所述第一文本单元替换为预定文本符号；以及基于将所述多个文本单元除所述第一文本单元之外的其他文本单元、所述预定文本符号和所述目标语义对象来确定所述第二置信度得分。8.根据权利要求1所述的方法，其中确定所述第一置信度得分包括：利用预训练语言模型(PLM)来提取所述多个文本单元的多个文本特征表示和所述目标语义对象的第一对象特征表示，所述PLM被包括在所述对象关联模型中；以及基于所述第一对象特征表示来确定所述第一置信度得分，并且其中确定所述第二置信度得分包括：利用所述PLM来提取所述多个文本单元中除所述第一文本单元之外的其他文本单元的文本特征表示和所述目标语义对象的第二对象特征表示；以及基于所述第二对象特征表示来确定所述第二置信度得分。9.一种电子设备，包括：处理器；以及存储器，耦合至所述处理器并且包含存储于其上的指令，所述指令在由所述处理器执行时使所述设备执行以下动作，所述动作包括：获取目标语义对象和自然语言的文本序列，所述第一文本序列包括多个文本单元；确定所述目标语义对象在所述第一文本序列中被提及的第一置信度得分；确定在所述第一文本序列中的第一文本单元被忽略的情况下所述目标语义对象在所述第一文本序列中被提及的第二置信度得分；以及至少基于所述第一置信度得分与所述第二置信度得分之间的第一置信度差异、所述第一文本序列和所述目标语义对象来训练对象关联模型，所述对象关联模型被配置为确定所述目标语义对象是否与所述多个文本单元之一相关联。10.根据权利要求9所述的设备，其中利用已训练的对象预测模型来分别确定所述第一置信度得分和所述第二置信度得分，所述动作还包括：获取针对所述对象预测模型的训练数据，所述训练数据包括第二文本序列、语义对象以及针对所述语义对象的监督信息，针对所述语义对象的所述监督信息指示所述语义对象在所述第二文本序列中是否被提及；以及基于所述训练数据来训练所述对象预测模型。
11.根据权利要求9所述的设备，其中训练所述对象关联模型包括：基于所述第一置信度差异，确定针对所述第一文本单元的第一关联得分，所述第一关联得分指...

【专利技术属性】
技术研发人员：杨德剑，楼建光，张冬梅，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：