一种信息处理的方法以及装置制造方法及图纸

本发明专利技术实施例公开了一种信息处理的方法，包括：获取待处理文本信息所对应的目标文本序列，目标文本序列中包括多个元素；根据目标文本序列获取上下文向量，所述上下文向量用于体现所述元素间的依存关系；根据上下文向量对目标文本信息所对应的目标文本序列进行编码处理，得到文本编码结果。本发明专利技术实施例采用与离散序列相关的上下文向量对该离散序列进行编码，由此，强化离散序列中各个元素之间的依存关系，从而增强神经网络模型的性能，提升模型的学习能力。

【技术实现步骤摘要】
一种信息处理的方法以及装置本申请对申请号为201811376563.5，申请日为2018年11月19日，专利技术名称为“一种文本翻译的方法、信息处理的方法以及装置”的中国专利申请提出分案申请。
本专利技术涉及人工智能领域，尤其一种信息处理的方法以及装置。
技术介绍
注意力机制已经成为大多数深度学习模型中的一个基本模块，它可以动态地按照需求选择网络中的相关表示。研究表明，在机器翻译以及图像注释等任务中，注意力机制作用显著。目前，基于注意力机制现已提出一种自关注神经网络(self-attentionnetwork，SAN)模型，该SAN模型可以对离散序列中的每个元素计算一个注意力权重，为了便于理解，请参阅图1，图1为现有方案中SAN模型对离散序列建模的一个基本架构示意图，如图所示，SAN网络可以直接计算出神经网络中隐藏状态之间的依存关系，每个上层网络表示都会与下层网络表示建立直接连接。请参阅图2，图2为现有方案中SAN模型表示两个词语之间关系的一个示意图，如图所示，使用注意力机制的SAN模型在计算两个词语(如图2中的“talk”与“Sharon”)之间的依存度时，仅考虑到两个词之间的关系，因此，对于离散序列而言，元素在整个离散序列中的网络表示较弱，从而降低了神经网络模型的性能。
技术实现思路
本专利技术实施例提供了一种文本翻译的方法、信息处理的方法以及装置，采用与离散序列相关的上下文向量对该离散序列进行编码，由此，强化离散序列中各个元素之间的依存关系，从而增强神经网络模型的性能，提升模型的学习能力。有鉴于此，本专利技术的第一方面提供了一种文本翻译的方法，包括：获取目标文本信息所对应的目标文本序列，其中，所述目标文本序列中包括多个元素；根据所述目标文本序列获取上下文向量；根据所述上下文向量以及所述目标文本序列确定目标请求向量以及目标键向量，其中，所述目标请求向量与所述目标文本序列中的元素具有对应关系，所述目标键向量与所述目标文本序列中的元素具有对应关系；根据所述目标请求向量以及所述目标键向量确定所述目标文本序列所对应的逻辑相似度；采用所述逻辑相似度对所述目标文本信息所对应的所述目标文本序列进行编码处理，得到文本编码结果；对所述文本编码结果进行解码处理，以得到所述目标文本信息所对应的文本翻译结果。本专利技术的第二方面提供了一种信息处理的方法，包括：获取待处理文本信息所对应的目标文本序列，其中，所述目标文本序列中包括多个元素；根据所述目标文本序列获取上下文向量；根据所述上下文向量以及所述目标文本序列确定目标请求向量以及目标键向量，其中，所述目标请求向量与所述目标文本序列中的元素具有对应关系，所述目标键向量与所述目标文本序列中的元素具有对应关系；根据所述目标请求向量以及所述目标键向量确定所述目标文本序列所对应的逻辑相似度；采用所述逻辑相似度对所述目标文本信息所对应的所述目标文本序列进行编码处理，得到文本编码结果。本专利技术的第三方面提供了一种文本翻译装置，包括：获取模块，用于获取目标文本信息所对应的目标文本序列，其中，所述目标文本序列中包括多个元素；所述获取模块，还用于根据所述目标文本序列获取上下文向量；确定模块，用于根据所述获取模块获取的所述上下文向量以及所述目标文本序列确定目标请求向量以及目标键向量，其中，所述目标请求向量与所述目标文本序列中的元素具有对应关系，所述目标键向量与所述目标文本序列中的元素具有对应关系；所述确定模块，还用于根据所述目标请求向量以及所述目标键向量确定所述目标文本序列所对应的逻辑相似度；编码模块，用于采用所述确定模块确定的所述逻辑相似度对所述目标文本信息所对应的所述目标文本序列进行编码处理，得到文本编码结果；解码模块，用于对所述编码模块编码的所述文本编码结果进行解码处理，以得到所述目标文本信息所对应的文本翻译结果。本专利技术的第四方面提供了一种信息处理装置，包括：获取模块，用于获取待处理文本信息所对应的目标文本序列，其中，所述目标文本序列中包括多个元素；所述获取模块，用于根据所述目标文本序列获取上下文向量；确定模块，用于根据所述获取模块获取的所述上下文向量以及所述目标文本序列确定目标请求向量以及目标键向量，其中，所述目标请求向量与所述目标文本序列中的元素具有对应关系，所述目标键向量与所述目标文本序列中的元素具有对应关系；所述确定模块，还用于根据所述目标请求向量以及所述目标键向量确定所述目标文本序列所对应的逻辑相似度；编码模块，用于采用所述确定模块确定的所述逻辑相似度对所述目标文本信息所对应的所述目标文本序列进行编码处理，得到文本编码结果。本专利技术的第五方面提供了一种文本翻译装置，包括：存储器、收发器、处理器以及总线系统；其中，所述存储器用于存储程序；所述处理器用于执行所述存储器中的程序，包括如下步骤：获取目标文本信息所对应的目标文本序列，其中，所述目标文本序列中包括多个元素；根据所述目标文本序列获取上下文向量；根据所述上下文向量以及所述目标文本序列确定目标请求向量以及目标键向量，其中，所述目标请求向量与所述目标文本序列中的元素具有对应关系，所述目标键向量与所述目标文本序列中的元素具有对应关系；根据所述目标请求向量以及所述目标键向量确定所述目标文本序列所对应的逻辑相似度；采用所述逻辑相似度对所述目标文本信息所对应的所述目标文本序列进行编码处理，得到文本编码结果；对所述文本编码结果进行解码处理，以得到所述目标文本信息所对应的文本翻译结果；所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。本专利技术的第六方面提供了一种信息处理装置，其特征在于，包括：存储器、收发器、处理器以及总线系统；其中，所述存储器用于存储程序；所述处理器用于执行所述存储器中的程序，包括如下步骤：获取待处理文本信息所对应的目标文本序列，其中，所述目标文本序列中包括多个元素；根据所述目标文本序列获取上下文向量；根据所述上下文向量以及所述目标文本序列确定目标请求向量以及目标键向量，其中，所述目标请求向量与所述目标文本序列中的元素具有对应关系，所述目标键向量与所述目标文本序列中的元素具有对应关系；根据所述目标请求向量以及所述目标键向量确定所述目标文本序列所对应的逻辑相似度；采用所述逻辑相似度对所述目标文本信息所对应的所述目标文本序列进行编码处理，得到文本编码结果；所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。本专利技术的第七方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。从以上技术方案可以看出，本专利技术实施例具有以下优点：本专利技术实施例中，提供了一本文档来自技高网...

【技术保护点】
1.一种信息处理的方法，其特征在于，所述方法包括：/n获取待处理文本信息所对应的目标文本序列，其中，所述目标文本序列中包括多个元素；/n根据所述目标文本序列获取上下文向量，所述上下文向量用于体现所述元素间的依存关系；/n根据所述上下文向量，对所述目标文本信息所对应的所述目标文本序列进行编码处理，得到文本编码结果。/n

【技术特征摘要】
1.一种信息处理的方法，其特征在于，所述方法包括：
获取待处理文本信息所对应的目标文本序列，其中，所述目标文本序列中包括多个元素；
根据所述目标文本序列获取上下文向量，所述上下文向量用于体现所述元素间的依存关系；
根据所述上下文向量，对所述目标文本信息所对应的所述目标文本序列进行编码处理，得到文本编码结果。


2.根据权利要求1所述的方法，其特征在于，所述获取待处理文本信息所对应的目标文本序列，包括：
通过神经网络获取待处理文本信息所对应的目标文本序列；
相应的，所述上下文向量通过所述神经网络中的内部表示学习得到。


3.根据权利要求1所述的方法，其特征在于，所述根据所述目标文本序列获取上下文向量，包括：
获取所述目标文本序列中每个元素的向量；
根据所述目标文本序列中每个元素的向量确定所述目标文本序列的整体信息，其中，所述整体信息用于表示所述上下文向量。


4.根据权利要求3所述的方法，其特征在于，所述根据所述目标文本序列中每个元素的向量确定所述目标文本序列的整体信息，包括：
根据所述目标文本序列中每个元素的向量计算所述目标文本序列的平均值，将所述平均值作为所述整体信息。


5.根据权利要求1所述的方法，其特征在于，所述根据所述目标文本序列获取上下文向量，包括：
获取所述目标文本序列所对应的L层文本序列，其中，所述L层文本序列为在所述目标文本序列之前生成的网络层，所述L为大于或等于1的整数；
根据所述L层文本序列生成所述上下文向量。


6.根据权利要求1所述的方法，其特征在于，所述根据所述目标文本序列获取上下文向量，包括：
获取所述目标文本序列所对应的L层文本序列，其中，所述L层文本序列为在所述目标文本序列之前生成的网络层，所述L为大于或等于1的整数；
根据所述L层文本序列获取L层第一上下文向量，其中，每层第一上下文向量为每层文本序列中元素的平均值；
根据所述目标文本序列获取第二上下文向量，其中，所述第二上下文向量为所述目标文本序列中元素的平均值；
根据所述L层第一上下文向量以及所述第二上下文向量，计算得到所述上下文向量。


7.根据权利要求1-6任意一项所述的方法，其特征在于，所述根据所述上下文向量对所述...

【专利技术属性】
技术研发人员：涂兆鹏，杨宝嵩，王星，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44