【技术实现步骤摘要】
本专利技术涉及查表式神经网络推理的文本处理技术，尤其涉及一种基于dram-pim的查表式神经网络推理与调优的文本分类方法及系统。
技术介绍
1、文本处理对计算量的需求极大，而查表式神经网络（lut-based neural network,lut-nn）算法具有参数规模小、计算量小、计算操作简单等特点，因此近年来受到了工业界和学术界的广泛关注，并将其应用于文本分类等自然语言处理任务中。lut-nn算法将基于transformer架构的语言模型中的全连接层替换为lut-nn层，其替换方式为：把原始全连接层的输入矩阵聚类到少数中心向量，并且将这些中心向量与原始全连接层的权重矩阵的预计算乘积保存至查找表（look-up table，lut）中。在推理时，lut-nn层首先寻找当前输入最邻近的中心向量索引，然后使用索引查询当前层的lut并进行累加，从而得到最终结果。
2、lut-nn算法通过将全连接层中的矩阵乘操作转换为lut-nn层中的lut查询操作，从而降低模型在文本处理中的计算量需求。然而，现有的以中央处理器（cpu）为中心的计算架构对lut-nn算法的推理性能较低。其主要原因为：lut-nn在推理时对每个lut-nn层内lut的频繁访问让推理过程呈现访存密集的特点。实验表明，lut-nn在推理时位于以cpu为中心的计算平台的屋顶线模型（roofline model）的访存密集区域。这一访存密集的特性导致lut-nn并不能充分利用cpu为中心的计算平台提供的计算资源，难以有效降低模型用于文本分类的计算量需求。
<...【技术保护点】
1.一种基于DRAM-PIM查表式神经网络推理与调优的文本分类方法，其特征是，基于动态随机存取存储器-存内计算DRAM-PIM架构，通过设计查表式神经网络LUT-NN算法的算子，实现算法的高效推理，进一步通过自动调优算法获得查表式神经网络在不同场景部署时的最优数据流参数，实现推理参数的高效调优；再通过神经网络推理得到文本分类结果；包括以下步骤：
2.如权利要求1所述基于DRAM-PIM查表式神经网络推理与调优的文本分类方法，其特征是，LUT-NN网络配置包括LUT-NN的网络结构图和每个LUT-NN层的形状参数（、、、）；其中代表输入矩阵的行数；代表中心向量张量的中心向量组数，代表每个中心向量组内的中心向量个数，代表LUT-NN当前层的输出矩阵的行向量长度。
3.如权利要求2所述基于DRAM-PIM查表式神经网络推理与调优的文本分类方法，其特征是，DRAM-PIM硬件平台的配置包括PIM模块总数、每个PIM模块上的计算节点总数、每个计算节点内运算单元的算力、PIM模块与宿主处理器间的数据传输总带宽。
4.如权利要求2所述基于DRAM-PIM查表
5.如权利要求1所述基于DRAM-PIM查表式神经网络推理与调优的文本分类方法，其特征是，参数对的数据总传输开销的估算方法为：；其中，为LUT索引矩阵的传输开销， 为LUT张量的传输开销，为算子输出结果的传输开销。
6.如权利要求5所述基于DRAM-PIM查表式神经网络推理与调优的文本分类方法，其特征是，的估算方法为：；其中，,为每个计算节点内张量的切片大小，为计算节点总数，为宿主处理器传输张量时的带宽。
7.如权利要求6所述基于DRAM-PIM查表式神经网络推理与调优的文本分类方法，其特征是，步骤24）中，参数对的计算总开销的估算方法为：，其中，为单个计算节点上LUT索引的子切片数量，为单个计算节点上LUT子切片的数量，为单个LUT索引子切片与单个LUT子切片之间的运算延迟。
8.如权利要求1所述基于DRAM-PIM查表式神经网络推理与调优的文本分类方法，其特征是，设计基于宿主处理器编程框架和PIM模块编程框架的函数接口还包含查表式神经网络的其他算子，包括逐元素算子，Softmax算子，激活函数算子，正则化算子，分词器算子，嵌入向量转换算子，语言模型头算子。
9.一种基于DRAM-PIM查表式神经网络推理与调优的文本分类系统，其特征是，利用所述的文本分类系统实现权利要求1所述的基于DRAM-PIM查表式神经网络推理与调优的文本分类方法；所述的文本分类系统包括宿主处理器、控制器和存内计算PIM模块；
...【技术特征摘要】
1.一种基于dram-pim查表式神经网络推理与调优的文本分类方法，其特征是，基于动态随机存取存储器-存内计算dram-pim架构，通过设计查表式神经网络lut-nn算法的算子，实现算法的高效推理，进一步通过自动调优算法获得查表式神经网络在不同场景部署时的最优数据流参数，实现推理参数的高效调优；再通过神经网络推理得到文本分类结果；包括以下步骤：
2.如权利要求1所述基于dram-pim查表式神经网络推理与调优的文本分类方法，其特征是，lut-nn网络配置包括lut-nn的网络结构图和每个lut-nn层的形状参数（、、、）；其中代表输入矩阵的行数；代表中心向量张量的中心向量组数，代表每个中心向量组内的中心向量个数，代表lut-nn当前层的输出矩阵的行向量长度。
3.如权利要求2所述基于dram-pim查表式神经网络推理与调优的文本分类方法，其特征是，dram-pim硬件平台的配置包括pim模块总数、每个pim模块上的计算节点总数、每个计算节点内运算单元的算力、pim模块与宿主处理器间的数据传输总带宽。
4.如权利要求2所述基于dram-pim查表式神经网络推理与调优的文本分类方法，其特征是，lut查询算子包含以下执行步骤：
5.如权利要求1所述基于dram-pim查表式神经网络推理与调优的文本分类方法，其特征是，...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。