结合元数据的基于变换器的编码制造技术

本公开涉及结合元数据的基于变换器的编码。从自然语言文本文档的语料库的元数据构造相关性矩阵，所述相关性矩阵中的行列交叉点对应一种类型的元数据的两个实例之间的关系。一种编码器模型被训练，生成经训练的编码器模型，以计算对应于所述语料库内的自然语言文本文档的令牌和所述相关性矩阵内的嵌入，所述编码器模型包括第一编码器层，所述第一编码器层包括令牌嵌入部分、相关性嵌入部分、令牌自关注部分、元数据自关注部分以及融合部分，所述训练包括调整所述编码器模型的参数集。训练包括调整所述编码器模型的参数集。训练包括调整所述编码器模型的参数集。

【技术实现步骤摘要】
结合元数据的基于变换器的编码


[0001]本专利技术总体上涉及用于自动编码自然语言文本或非文本数据的方法、系统和计算机程序产品。更具体地，本专利技术涉及用于结合元数据的基于变换器的编码的方法、系统和计算机程序产品。

技术介绍

[0002]基于变换器的自动编码器，也称为基于变换器的自动编码网络，或简称为变换器，具有编码器
‑
解码器架构。变换器的编码器部分包括一层接一层地迭代地处理输入序列的一组编码层。每个编码器层生成编码(多维数，也称为向量)，其包含关于输入的哪些部分彼此相关的信息。变换器的解码器部分包括一层接一层地迭代地处理编码器的输出的一组解码层。每个解码器层使用编码的结合的上下文信息来生成与输入序列相对应的输出序列。为了结合上下文，编码器和解码器层包括关注机制，对于每个输入，该关注机制包括序列中的用其他输入的相关性加权的其他输入。解码器层还具有附加的关注机制，其从先前解码器层的输出以及从编码汲取信息。
[0003]如本文所使用的变换器指具有编码器
‑
解码器架构的基于变换器的自动编码网络、包含所述组编码层但不包含该组解码器层的编码器、以及包含该组解码器层但不包含该组编码器层的解码器。例如，典型的文本分类实施例仅包含编码器层，随后是分类器层，且不包含解码器层。变换器可用于处理自然语言文本或非文本数据序列。
[0004]说明性实施例认识到，为了使用上下文对文本进行编码，关注机制通常将对应于令牌的嵌入(令牌嵌入)与位置嵌入(对文本的一部分或片段内的令牌的位置进行编码)和分段嵌入(对令牌位于文本的哪个片段中进行编码)组合。然而，位置嵌入和分段嵌入都仅基于文档内的文本。结果，元数据、关于文档内的文本的信息(诸如对话中的轮次(turn)和说话者信息)、讨论论坛的转录本中的线程信息、电影字幕、分割层级信息和结构化文本的其他元素，即使可用，在编码自然语言文本时也经常不被使用。
[0005]说明性实施例还认识到，即使在文本处理中使用元数据时，模型架构也不明确地考虑由元数据供应的令牌之间的关注或通过变换器的层对元数据的效果进行建模。相反，元数据的部分被编码为嵌入并且与现有关注机制中的令牌嵌入组合。例如，在会话转录本中，元数据可指示一些部分由参与者1口述或文本化，而一些部分由参与者2口述或文本化。因此，所有参与者1部分可被视为一个文本片段，并且所有参与者2部分可被视为第二文本片段，并且相应的分段嵌入被确定并合并到文本编码中。可替代地，系统可以计算对哪个说话者与令牌相关联进行编码的附加嵌入，并且该附加嵌入与现有关注机制中的令牌、位置、以及分段嵌入组合。然而，将特定部分或类型的元数据编码成特定嵌入不容易普遍适用于可在许多类型的文本和元数据上训练的模型，当在没有元数据的情况下处理文本时与现有模型同等地起作用，并且可用于各种下游任务。进一步地，用于处理非文本数据的模型架构未明确地解释由元数据供应的令牌之间的关注或通过变换器的层对元数据的效果进行建模。
[0006]因此，说明性实施例还认识到，对于基于变换器的自动编码器架构存在未满足的需要，该自动编码器架构包括专用于对归因于元数据的关注进行建模的参数，并且能够使用不需要将特定部分或类型的元数据编码成特定嵌入的元数据编码方案。

技术实现思路

[0007]说明性实施例提供了一种方法、系统和计算机程序产品。实施例包括一种方法，该方法从自然语言文本文档的语料库的元数据构建相关性矩阵，该相关性矩阵中的行列交叉点对应于一种类型的元数据的两个实例之间的关系。一实施例训练、生成经训练的编码器模型，编码器模型用于计算与该语料库内的自然语言文本文档的令牌和该相关性矩阵对应的嵌入，该编码器模型包括第一编码器层，该第一编码器层包括令牌嵌入部分、相关性嵌入部分、令牌自关注部分、元数据自关注部分以及融合部分，该训练包括调整该编码器模型的参数集。因此，该实施例提供结合元数据的基于变换器的编码。
[0008]在另一实施例中，该令牌嵌入部分计算令牌嵌入集，该令牌嵌入集中的令牌嵌入对应于该语料库内的自然语言文本文档的令牌。因此，该实施例提供计算令牌嵌入集的方法。
[0009]在另一实施例中，该令牌包括该自然语言文本文档的词语的一部分。因此，该实施例提供从自然语言文本文档的词语的一部分计算令牌嵌入的方法。
[0010]在另一实施例中，该令牌嵌入包括该令牌的多维数字表示。因此，该实施例提供计算包括多维数字表示的令牌嵌入的方法。
[0011]在另一实施例中，该令牌嵌入包括该令牌的多维数字表示、该令牌在该自然语言文本文档内的位置的多维数字表示以及该自然语言文本文档中该令牌所位于的片段的多维数字表示的组合。因此，该实施例提供计算包括多维数字表示的令牌嵌入的方法。
[0012]在另一实施例中，该相关性嵌入部分计算相关性嵌入集，该相关性嵌入集中的相关性嵌入包括该行
‑
列交叉点的多维数字表示。因此，该实施例提供计算相关性嵌入集的方法。
[0013]在另一实施例中，该令牌自关注部分根据令牌关注权重集来调整输入令牌嵌入，该令牌关注权重集中的令牌关注权重对应于两个令牌之间的该自然语言文本文档内的关系，该令牌关注权重集在该训练期间计算。因此，该实施例提供根据令牌关注权重集调整输入令牌嵌入的方法。
[0014]在另一实施例中，该元数据自关注部分根据元数据关注权重集调整输入相关性嵌入，该元数据关注权重集在该训练期间计算。因此，该实施例提供根据元数据关注权重集调整输入相关性嵌入的方法。
[0015]在另一实施例中，该融合部分将该令牌自关注部分和该元数据自关注部分的输出组合。因此，该实施例还提供融合部分的细节。
[0016]在另一实施例中，该训练包括：将该令牌嵌入部分的参数集初始化为令牌嵌入参数基本集；将该令牌自关注部分的参数集初始化为令牌自关注参数基本集；第一训练，生成经部分训练的编码器模型，第一训练包括当该令牌嵌入部分的参数集被设置为该令牌嵌入参数基本集并且该令牌自关注部分的参数集合被设置为该令牌自关注参数基本集时，调整该相关性嵌入部分的参数集和该元数据自关注部分的参数集；以及第二训练，生成经训练
的编码器模型，该第二训练包括调整该编码器模型的参数集。因此，该实施例提供训练编码器模型的更多细节。
[0017]在另一实施例中，该编码器模型进一步包括第一解码器层，该第一解码器层包括解码器令牌自关注部分、解码器元数据自关注部分、解码器融合部分以及解码器关注部分，该训练包括调整该第一解码器层的参数集。因此，该实施例提供第一解码器层的更多细节。
[0018]在另一实施例中，该解码器关注部分根据关注权重集调整编码器层的输出，该关注权重集在该训练期间计算。因此，该实施例提供解码器关注部分的更多细节。
[0019]实施例包括一种计算机可用程序产品。计算机可用程序产品包括一个或多个计算机可读存储设备，以及存储在该一个或多个计算机可读存储设备中的至少一者上的程序指令。
[0020]实施例包括一种计算机系统。计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机实现方法，包括：从自然语言文本文档的语料库的元数据构建相关性矩阵，所述相关性矩阵中的行列交叉点对应于一种类型的元数据的两个实例之间的关系；以及训练、生成经训练的编码器模型，编码器模型用于计算与所述语料库内的自然语言文本文档的令牌和所述相关性矩阵对应的嵌入，所述编码器模型包括第一编码器层，所述第一编码器层包括令牌嵌入部分、相关性嵌入部分、令牌自关注部分、元数据自关注部分以及融合部分，所述训练包括调整所述编码器模型的参数集。2.根据权利要求1所述的计算机实现的方法，其中，所述令牌嵌入部分计算令牌嵌入集，所述令牌嵌入集中的令牌嵌入对应于所述语料库内的自然语言文本文档的令牌。3.根据权利要求2所述的计算机实现的方法，其中，所述令牌包括所述自然语言文本文档的词语的一部分。4.根据权利要求2所述的计算机实现的方法，其中，所述令牌嵌入包括所述令牌的多维数字表示。5.根据权利要求2所述的计算机实现的方法，其中，所述令牌嵌入包括所述令牌的多维数字表示、所述令牌在所述自然语言文本文档内的位置的多维数字表示以及所述自然语言文本文档中所述令牌所位于的片段的多维数字表示的组合。6.根据权利要求1所述的计算机实现的方法，其中，所述相关性嵌入部分计算相关性嵌入集，所述相关性嵌入集中的相关性嵌入包括所述行
‑
列交叉点的多维数字表示。7.根据权利要求1所述的计算机实现的方法，其中，所述令牌自关注部分根据令牌关注权重集来调整输入令牌嵌入，所述令牌关注权重集中的令牌关注权重对应于两个令牌之间的所述自然语言文本文档内的关系，所述令牌关注权重集在所述训练期间计算。8.根据权利要求1所述的计算机实现的方法，其中，所述元数据自关注部分根据元数据关注权重集调整输入相关性嵌入，所述元数据关注权重集在所述训练期间计算。9.根据权利要求1所述的计...

【专利技术属性】
技术研发人员：万晖，崔晓东，L，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：