【技术实现步骤摘要】
本公开涉及人工智能领域，尤其涉及一种神经网络处理方法、神经网络及自然语言处理方法。
技术介绍
1、层归一化(layer normalization)是机器学习中常见的归一化方法，尤其在自然语言处理(natural language processing，nlp)中有广泛应用。比如transformer中使用使用了层归一化。
2、虽然现有的层归一化操作有助于提高神经网络的训练稳定性和性能，但在神经网络的训练中，仍然面临着例如梯度饱和等问题。
技术实现思路
1、根据本公开实施例的第一方面，提出了一种神经网络处理方法，其中，所述神经网络具有堆叠的l个子结构，所述l个子结构的结构相同，所述l是不小于2的整数，所述方法包括：第一子结构基于所述第一子结构的前一层输出的特征表示，计算得到第一子结构输出的特征表示；第二子结构基于所述第一子结构输出的特征表示，计算得到第二子结构输出的特征表示，其中，所述第二子结构与所述第一子结构相邻且位于所述第一子结构之后；对所述第一子结构输出的特征表示和所述第二子结构输出的特征表示一并进行归一化处理；以及基于所述归一化处理的结果进行所述神经网络当前推理的后续计算。
2、可选地，对所述第一子结构输出的特征表示和所述第二子结构输出的特征表示进行归一化处理包括：针对所述第一子结构输出的特征表示和所述第二子结构输出的特征表示中各自包含的节点，计算均值和方差；以及基于所述均值和所述方差，对所述第二子结构输出的特征表示进行归一化，以获取经归一化的第二子
3、可选地，对第一子结构输出的特征表示和第二子结构输出的特征表示一并进行归一化处理包括：使用所述第二子结构的多层归一化层对所述第一子结构输出的特征表示和所述第二子结构输出的特征表示进行所述归一化处理。
4、可选地，第三子结构与所述第二子结构相邻且位于所述第二子结构之后，其中基于所述归一化处理的结果进行所述神经网络当前推理的后续计算包括：第三子结构基于经归一化的第二子结构输出的特征表示，计算得到第三子结构输出的特征表示；所述第三子结构的多层归一化层对所述经归一化的第二子结构输出的特征表示和所述第三结构输出的特征表示一并进行归一化处理，得到经归一化的第三子结构输出的特征表示；以及所述第三子结构的后一结构基于所述经归一化的第三子结构输出的特征表示进行计算。
5、可选地，第三子结构与所述第二子结构相邻且位于所述第二子结构之后，第四子结构与所述第三子结构相邻且位于所述第三子结构之后，其中，基于所述归一化处理的结果进行所述神经网络当前推理的后续计算包括：所述第三子结构基于经归一化的第二子结构输出的特征表示，计算得到第三子结构输出的特征表示；所述第四子结构基于所述第三子结构输出的特征表示，计算得到第四子结构输出的特征表示，使用所述第四子结构的多层归一化层对所述第三子结构输出的特征表示和所述第四结构输出的特征表示进行归一化处理，得到经归一化的第四子结构输出的特征表示；以及所述第四子结构的后一结构基于所述经归一化的第四子结构输出的特征表示进行计算。
6、可选地，第三子结构与所述第二子结构相邻且位于所述第二子结构之后，并且所述方法还包括：所述第三子结构基于所述第二子结构输出的特征表示，计算得到第三子结构输出的特征表示，其中，对所述第一子结构输出的特征表示和所述第二子结构输出的特征表示一并进行归一化处理包括：使用所述第三子结构的多层归一化层对所述第一子结构输出的特征表示、所述第二子结构输出的特征表示和所述第三子结构输出的特征表示一并进行归一化处理，得到经归一化的第三子结构输出的特征表示，以及基于所述归一化处理的结果进行所述神经网络当前推理的后续计算包括：所述第三子结构的后一结构基于所述经归一化的第三子结构输出的特征表示进行计算。
7、可选地，所述l个子结构各自包括n个隐藏层，并且对所述第一子结构输出的特征表示和所述第二子结构输出的特征表示进行归一化处理包括：使用所述第二子结构的第n隐藏层后接的多层归一化层对所述第一子结构的第n隐藏层输出的特征表示和所述第二子结构的第n隐藏层输出的特征表示一并进行归一化处理，得到经归一化的第二子结构的第n隐藏层输出的特征表示，其中，所述n是不小于2的整数，且n≥n≥1。
8、可选地，第二子结构基于所述第一子结构输出的特征表示，计算得到第二子结构输出的特征表示包括：第二子结构基于所述第一子结构输出的特征表示，计算得到第二子结构的第1隐藏层输出的特征表示，并且对所述第一子结构输出的特征表示和所述第二子结构输出的特征表示一并进行归一化处理包括：使用所述第二子结构的第1隐藏层后接的多层归一化层对所述第一子结构的第1隐藏层输出的特征表示和所述第二子结构的第1隐藏层输出的特征表示一并进行归一化处理，得到经归一化的第二子结构的第1隐藏层输出的特征表示；所述第二子结构的第2隐藏层基于所述经归一化的第二子结构的第1隐藏层输出的特征表示，计算得到第二子结构的第2隐藏层输出的特征表示；以及使用所述第二子结构的第2隐藏层后接的多层归一化层对所述第一子结构的第2隐藏层输出的特征表示和所述第二子结构的第2隐藏层输出的特征表示一并进行归一化处理，得到经归一化的第二子结构的第2隐藏层输出的特征表示。
9、根据本公开实施例的第二方面，提出了一种神经网络处理方法，其中，所述神经网络包括堆叠的l个子结构，每个所述子结构各自包括至少两个一个或多个归一化层，所述方法包括在相邻的两个所述子结构中：后一个所述子结构的归一化层接收来自本身的非归一化层输出的中间特征表示以及接收来自前一个所述子结构的非归一化层输出的中间特征表示，以生成归一化序列。
10、可选地，后一个所述子结构的归一化层接收来自本身的非归一化层输出的中间特征表示以及接收来自前一个所述子结构的非归一化层输出的中间特征表示，以生成归一化序列，包括：后一个所述子结构的注意力归一化层接收来自本身的注意力层输出的中间特征表示和前一个所述子结构的注意力层输出的中间特征表示，以生成注意力层归一化序列；以及后一个所述子结构的前馈归一化层接收来自本身的前馈层输出的中间特征表示和前一个所述子结构的前馈层输出的中间特征表示，以生成前馈层归一化序列。
11、可选地，后一个所述子结构的注意力归一化层接收来自本身的注意力层输出的中间特征表示和前一个所述子结构的注意力层输出的中间特征表示，以生成注意力层归一化序列，包括：后一个所述子结构的自注意力归一化层接收来自本身的自注意力层输出的中间特征表示和前一个所述子结构的自注意力层输出的中间特征表示，以生成自注意力层归一化序列；和/或后一个所述子结构的交互注意力归一化层接收来自本身的交互注意力层输出的中间特征表示和前一个所述子结构的交互注意力层输出的中间特征表示，以生成交互注意力层归一化序列。
12、可选地，前一个所述子结构的归一化层接收自身的非归一化层输出的中间特征表示，以生成归一化序列。
13、根据本公开实施例的第三方面，提出了一种神经本文档来自技高网...
【技术保护点】
1.一种神经网络处理方法，其中，所述神经网络具有堆叠的L个子结构，所述L个子结构的结构相同，所述L是不小于2的整数，所述方法包括：
2.根据权利要求1所述的方法，其中，对所述第一子结构输出的特征表示和所述第二子结构输出的特征表示进行归一化处理包括：
3.根据权利要求1所述的方法，其中，对所述第一子结构输出的特征表示和所述第二子结构输出的特征表示一并进行归一化处理包括：
4.根据权利要求3所述的方法，其中，第三子结构与所述第二子结构相邻且位于所述第二子结构之后，其中基于所述归一化处理的结果进行所述神经网络当前推理的后续计算包括：
5.根据权利要求3所述的方法，其中，第三子结构与所述第二子结构相邻且位于所述第二子结构之后，第四子结构与所述第三子结构相邻且位于所述第三子结构之后，其中，
6.根据权利要求1所述的方法，其中，第三子结构与所述第二子结构相邻且位于所述第二子结构之后，并且所述方法还包括：
7.根据权利要求1所述的方法，其中，所述L个子结构各自包括N个隐藏层，并且对所述第一子结构输出的特征表示和所述第二子结
8.根据权利要求7所述的方法，其中，第二子结构基于所述第一子结构输出的特征表示，计算得到第二子结构输出的特征表示包括：
9.一种神经网络处理方法，其中，所述神经网络包括堆叠的L个子结构，每个所述子结构包括一个或多个归一化层，所述方法包括在相邻的两个所述子结构中：
10.根据权利要求9所述的方法，其中，后一个所述子结构的归一化层接收来自本身的非归一化层输出的中间特征表示以及接收来自前一个所述子结构的非归一化层输出的中间特征表示，以生成归一化序列，包括：
11.根据权利要求10所述的方法，其中，后一个所述子结构的注意力归一化层接收来自本身的注意力层输出的中间特征表示和前一个所述子结构的注意力层输出的中间特征表示，以生成注意力层归一化序列，包括：
12.根据权利要求9所述的方法，还包括：
13.一种神经网络，包括：
14.一种自然语言处理方法，包括：
15.一种终端设备，包括：
16.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行基于如权利要求1至12或14中任一项所述的方法。
17.一种计算机程序产品，包括计算机程序指令，其特征在于，该计算机程序指令被处理器执行时实现基于如权利要求1至12或14中任一项所述的方法。
...【技术特征摘要】
1.一种神经网络处理方法，其中，所述神经网络具有堆叠的l个子结构，所述l个子结构的结构相同，所述l是不小于2的整数，所述方法包括：
2.根据权利要求1所述的方法，其中，对所述第一子结构输出的特征表示和所述第二子结构输出的特征表示进行归一化处理包括：
3.根据权利要求1所述的方法，其中，对所述第一子结构输出的特征表示和所述第二子结构输出的特征表示一并进行归一化处理包括：
4.根据权利要求3所述的方法，其中，第三子结构与所述第二子结构相邻且位于所述第二子结构之后，其中基于所述归一化处理的结果进行所述神经网络当前推理的后续计算包括：
5.根据权利要求3所述的方法，其中，第三子结构与所述第二子结构相邻且位于所述第二子结构之后，第四子结构与所述第三子结构相邻且位于所述第三子结构之后，其中，
6.根据权利要求1所述的方法，其中，第三子结构与所述第二子结构相邻且位于所述第二子结构之后，并且所述方法还包括：
7.根据权利要求1所述的方法，其中，所述l个子结构各自包括n个隐藏层，并且对所述第一子结构输出的特征表示和所述第二子结构输出的特征表示进行归一化处理包括：
8.根据权利要求7所述的方法，其中，第二子结构基于所述第一子结构输出的特征表示...
【专利技术属性】
技术研发人员：安旭，
申请(专利权)人：武汉星纪魅族科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。