一种基于浅层特征预计算的神经网络推理加速方法技术

本发明专利技术公开了一种基于浅层特征预计算的神经网络推理加速方法，该方法首先获取预训练神经网络，根据输入文本，使用预训练神经网络将输入文本进行编码；然后根据所述预训练神经网络，构建浅层特征可预计算神经网络，根据输入文本，使用浅层特征可预计算神经网络将输入文本进行编码；再使用所述浅层特征可预计算神经网络拟合预训练神经网络的中间层特征，训练浅层特征可预计算神经网络；再根据所述浅层特征可预计算神经网络，构建浅层特征查询表；最后使用上述浅层特征查询表替换浅层特征可预计算神经网络的浅层神经网络。本发明专利技术可以用于新闻分类、情感分析、问答系统等人工智能领域任务。任务。任务。

【技术实现步骤摘要】
一种基于浅层特征预计算的神经网络推理加速方法


[0001]本专利技术涉及计算机领域下的人工智能
，尤其涉及一种面向自然语言处理
的神经网络推理加速方法。

技术介绍

[0002]随着近年来人工智能技术的快速发展，尤其是以极大规模预训练神经网络在自然语言处理
的出现，使得许多自然语言处理的下游任务的准确率都得到显著的提升，尤其在人类自然语言的理解、推理的任务上都取得了快速的发展，在一些任务中甚至取得了接近乃至超过人类的水平。然而，预训练神经网络的应用也带来快速增长的模型尺寸以及运算复杂度，即使使用最为先进的硬件计算机设备，使用这些超大规模的预训练神经网络来进行推理运算也十分件困难，并需要耗费大量的运算成本和时间开销。

技术实现思路

[0003]本专利技术的目的在于针对现有技术的不足，提供一种基于浅层特征预计算的神经网络推理加速方法。本专利技术能够有效地降低预训练神经网络运算成本和时间开销，并在新闻分类、情感分析、问答系统等多个人工智能领域任务上保持和原预训练神经网络接近的表现。
[0004]本专利技术的目的是通过如下技术方案来实现的：一种基于浅层特征预计算的神经网络推理加速方法，包括以下步骤：
[0005](1)获取预训练神经网络，根据输入文本，使用预训练神经网络将输入文本进行编码；
[0006](2)根据所述预训练神经网络，构建浅层特征可预计算神经网络，根据输入文本，使用浅层特征可预计算神经网络将输入文本进行编码；
[0007](3)使用所述浅层特征可预计算神经网络拟合预训练神经网络的中间层特征，训练浅层特征可预计算神经网络；
[0008](4)根据所述浅层特征可预计算神经网络，构建浅层特征查询表；
[0009](5)使用上述浅层特征查询表替换浅层特征可预计算神经网络的浅层神经网络。
[0010]进一步地，所述步骤(1)中，预训练神经网络由L(L>1)层Transformer、CNN、LSTM或GRU神经网络构成；预训练神经网络的第l(0≤l<L)层神经网络被记为Layer
(l)
；给定输入文本X＝[x1,x2,
…
,x
n
]，其中x
i
(＝1,
…
,n)代表输入文本中的单词，输入文本包含n个单词，使用预训练神经网络将输入文本进行编码，并获得编码后的文本序列特征。
[0011]进一步地，所述使用预训练神经网络将输入文本进行编码的过程包含以下步骤：
[0012](1.1)将输入文本中的单词映射为词向量，获得初始文本序列特征其中分别对应单词x1，x2，...，x
n
的词向量；
[0013](1.2)用预训练神经网络的第l(0≤l＜L)层神经网络对文本序列特征U
(l)
进行编码，获得编码后的文本序列特征U
(l+1)
＝Layer
(l)
(U
(l)
)；
[0014](1.3)重复步骤(1.2)，直到获得使用最后一层神经网络编码后的文本序列特征
[0015]进一步地，所述步骤(2)中，根据所述预训练神经网络，使用和预训练神经网络相同种类、相同层数的神经网络，构建浅层特征可预计算神经网络；浅层特征可预计算神经网络的前L
loc
(1≤L
loc
＜L)层神经网络被记为浅层特征可预计算神经网络的浅层神经网络；使用上述浅层特征可预计算神经网络将输入文本进行编码。
[0016]进一步地，所述使用上述浅层特征可预计算神经网络将输入文本进行编码具体包含以下步骤：
[0017](2.1)给定输入文本X＝[x1，x2，...，x
n
]，将输入文本分割为多个包含三个单词的文本区域X
i
＝[x
i
‑1，x
i
，x
i+1
](i＝2，
…
，n
‑
1)；
[0018](2.2)将上述文本区域包含的单词映射为词向量，获得初始文本区域特征
[0019]其中分别对应x
i
‑1，x
i
，x
i+1
的词向量；
[0020](2.3)使用浅层特征可预计算神经网络的第l(0≤l＜L
loc
)层浅层神经网络对文本区域特征进行编码，获得编码后的浅层文本区域特征进行编码，获得编码后的浅层文本区域特征
[0021](2.4)重复步骤(2.3)，直到获得最后一层浅层神经网络编码后的浅层文本区域特征
[0022](2.5)将上述编码后的浅层文本区域特征进行聚合，获得浅层文本序列特征其中单个单词的文本特征为其中单个单词的文本特征为其中Norm是层归一化函数；Gate是基于sigmoid函数的门控机制，具体计算方式为Gate(x)＝sigmoid(v
G
·
x+b
G
)，v
G
和b
G
为可以训练的网络参数；对于越界的情况，即i+j≤0或i+j＞n时，我们将设为零向量，即
[0023](2.6)使用浅层特征可预计算神经网络的第l(L
loc
≤l＜L)层神经网络对文本序列特征H
(l)
进行编码，获得编码后的文本序列特征H(
l+1
)＝Layer(
l
)(H
(l)
)；
[0024](2.7)重复步骤(2.6)，直到获得最后一层神经网络编码后的文本序列特征H
(L)
。
[0025]进一步地，所述步骤(3)中，给定输入文本X＝[x1，x2，...，x
n
]，使用上述浅层特征可预计算神经网络拟合预训练神经网络的中间层特征；具体包含以下步骤：
[0026](3.1)对于给定输入文本，使用预训练神经网络编码输入文本，获得输入文本的中间层的文本序列特征
[0027](3.2)对于给定输入文本，使用浅层特征可预计算神经网络编码输入文本，获得输入文本的中间层的文本序列特征
[0028](3.3)根据上述预训练神经网络和浅层特征可预计算神经网络的中间层的文本序
列特征，计算损失值：
[0029][0030](3.4)使用SGD、Adam等基于梯度下降的优化算法最小化上述损失值，从而训练浅层特征可预计算神经网络。
[0031]进一步地，所述步骤(4)中，根据所述浅层特征可预计算神经网络，构建浅层特征查询表，具体包含以下步骤：
[0032](4.1)构建基于键
‑
值查询的浅层特征查询表；该浅层特征查询表用于存储大量的键
‑
值对；给定键，该浅层特征查询表能够返回与给定的键对应的值；
[0033](4.2)枚举文本区域X本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于浅层特征预计算的神经网络推理加速方法，其特征在于，包括以下步骤：(1)获取预训练神经网络，根据输入文本，使用预训练神经网络将输入文本进行编码；(2)根据所述预训练神经网络，构建浅层特征可预计算神经网络，根据输入文本，使用浅层特征可预计算神经网络将输入文本进行编码；(3)使用所述浅层特征可预计算神经网络拟合预训练神经网络的中间层特征，训练浅层特征可预计算神经网络；(4)根据所述浅层特征可预计算神经网络，构建浅层特征查询表；(5)使用上述浅层特征查询表替换浅层特征可预计算神经网络的浅层神经网络。2.根据权利要求1所述的基于浅层特征预计算的神经网络推理加速方法，其特征在于，所述步骤(1)中，预训练神经网络由L(L＞1)层Transformer、CNN、LSTM或GRU神经网络构成；预训练神经网络的第层神经网络被记为给定输入文本X＝[x1，x2，...，x
n
]，其中x
i
(i＝1，
…
，n)代表输入文本中的单词，输入文本包含n个单词，使用预训练神经网络将输入文本进行编码，并获得编码后的文本序列特征。3.根据权利要求1所述的基于浅层特征预计算的神经网络推理加速方法，其特征在于，所述使用预训练神经网络将输入文本进行编码的过程包含以下步骤：(1.1)将输入文本中的单词映射为词向量，获得初始文本序列特征其中分别对应单词x1，x2，...，x
n
的词向量；(1.2)用预训练神经网络的第层神经网络对文本序列特征进行编码，获得编码后的文本序列特征(1.3)重复步骤(1.2)，直到获得使用最后一层神经网络编码后的文本序列特征4.根据权利要求1所述的基于浅层特征预计算的神经网络推理加速方法，其特征在于，所述步骤(2)中，根据所述预训练神经网络，使用和预训练神经网络相同种类、相同层数的神经网络，构建浅层特征可预计算神经网络；浅层特征可预计算神经网络的前L
loc
(1≤L
loc
＜L)层神经网络被记为浅层特征可预计算神经网络的浅层神经网络；使用上述浅层特征可预计算神经网络将输入文本进行编码。5.根据权利要求4所述的基于浅层特征预计算的神经网络推理加速方法，其特征在于，所述使用上述浅层特征可预计算神经网络将输入文本进行编码具体包含以下步骤：(2.1)给定输入文本X＝[x1，x2，...，x
n
]，将输入文本分割为多个包含三个单词的文本区域X
i
＝[x
i
‑1，x
i
，x
i+1
](i＝2，
…
，n
‑
1)；(2.2)将上述文本区域包含的单词映射为词向量，获得初始文本区域特征(2.2)将上述文本区域包含的单词映射为词向量，获得初始文本区域特征其中分别对应x
i
‑1，x
i
，x
i+1
的词向量；(2.3)使用浅层特征可预计算神经网络的第层浅层神经网络对文本区域特征进行编码，获得编码后的浅层文本区域特征进行编码，获得编码后的浅层文本区域特征(2.4)重复步骤(2.3)，直到获得最后一层浅层神经网络编码后的浅层文本区域特征
(2.5)将上述编码后的浅层文本区域特征进行聚合，获得浅层文本序列特征其中单个单词的文本特征为其中单个单词的文本特征为其中Norm是层归一化函数；Gate是基于sigmoid函数的门控机制，具体计算方式为Gate(x)＝sigmoid(v
G
·
x+b
G
)，v
G
和b
G
为可以训练的网络参数；对于越界的情况，即i+j≤0或i+j＞...

【专利技术属性】
技术研发人员：寿黎但，王珏，陈珂，骆歆远，江大伟，陈刚，
申请(专利权)人：浙江大学，
类型：发明
国别省市：