用于优化神经网络模型推理的方法及设备技术

本发明专利技术的实施方式提供了一种用于优化神经网络模型推理的方法及设备，所述方法包括：根据同一批次中多个待处理任务的组合关系，以及根据所述神经网络模型的重组帧的帧重组规则，确定所述重组帧中有效帧和/或无效帧的位置，其中，所述有效帧仅包括来自同一待处理任务的帧的组合，所述无效帧包括来自不同待处理任务的帧的组合；以及根据所述有效帧和/或所述无效帧的位置，在利用所述神经网络模型进行推理时只使用所述有效帧。根据本发明专利技术的方法，可以显著减少无效运算量，从而能够有利于提高神经网络模型的推理速度，并且可以使得神经网络模型能够更好的适应于高吞吐量需求的应用场景中。

【技术实现步骤摘要】
用于优化神经网络模型推理的方法及设备
本专利技术的实施方式涉及计算机
，更具体地，本专利技术的实施方式涉及用于优化神经网络模型推理的方法及设备。
技术介绍
本部分旨在为权利要求书中陈述的本专利技术的实施方式提供背景或上下文。此处的描述可包括可以探究的概念，但不一定是之前已经想到或者已经探究的概念。因此，除非在此指出，否则在本部分中描述的内容对于本申请的说明书和权利要求书而言不是现有技术，并且并不因为包括在本部分中就承认是现有技术。随着人工智能技术的不断发展，神经网络的应用范围越来越广。例如时延神经网络(TDNN)用作语音识别的声学模型时，凭借着高效低成本的训练过程和不错的识别率，在实际应用中发挥了重要的作用。然而，由于时延神经网络推理时的计算量较大，导致利用时延神经网络模型进行推理时的推理速度较慢以及吞吐量较低，这将极大地影响用户的使用体验，并且在高吞吐量需求的情况下将需要更多的计算设备来进行推理运算，从而增加了硬件成本和设备损耗。
技术实现思路
由于在时延神经网络模型中，本层节点的帧与其它层或者其他时刻的帧相关，或者是由其他层节点的多个帧计算得出，因此在对时延神经网络模型进行推理时常需要将相关的帧重组以便进一步地操作。然而，当利用时延神经网络模型处理批次任务时，重组操作会使得不同任务之间产生无效帧，并且无效帧的后续计算也是无效的。特别是当神经网络模型的层数较多时，无效帧的数量会随着层数的增加而增加，进而产生大量的无效计算，大大降低了神经网络模型的推理速度，这是非常令人烦恼的过程。<br>为此，非常需要一种改进的用于优化神经网络模型推理的方法，以至少克服由帧重组操作产生的无效计算问题，从而提高神经网络模型的推理速度以及用户的使用体验。在本上下文中，本专利技术的实施方式期望提供一种用于优化神经网络模型推理的方法及设备。在本专利技术实施方式的第一方面中，提供了一种用于优化神经网络模型推理的方法，包括：根据同一批次中多个待处理任务的组合关系，以及根据所述神经网络模型的重组帧的帧重组规则，确定所述重组帧中有效帧和/或无效帧的位置，其中，所述有效帧仅包括来自同一待处理任务的帧的组合，所述无效帧包括来自不同待处理任务的帧的组合；以及根据所述有效帧和/或所述无效帧的位置，在利用所述神经网络模型进行推理时只使用所述有效帧。在本专利技术的一个实施例中，确定所述重组帧中有效帧和/或无效帧的位置包括：根据每个待处理任务的起始位置以及所述帧重组规则，确定所述第一层重组帧中有效帧和/或无效帧的位置；以及根据上一层重组帧中有效帧和/或无效帧的位置，确定本层重组帧中有效帧和/或无效帧的位置。在本专利技术的另一个实施例中，进一步包括：确定所述重组帧中有效帧的位置偏移量；以及根据所述位置偏移量，读取所述重组帧中的有效帧以进行后续运算操作。在本专利技术的又一个实施例中，确定有效帧的位置偏移量包括：根据每个待处理任务的起始位置以及所述帧重组规则，确定所述第一层重组帧中有效帧的位置偏移量；以及根据上一层重组帧中有效帧的位置偏移量，确定本层重组帧中有效帧的位置偏移量。在本专利技术的再一个实施例中，根据上一层重组帧中有效帧的位置偏移量，确定本层重组帧中有效帧的位置偏移量包括：根据上一层重组帧中的相邻位置的有效帧的位置偏移量是否相同，确定本层重组帧中有效帧的位置偏移量。在本专利技术的一个实施例中，所述重组帧包括所述神经网络模型的每层结构中输入节点的重组帧和奇异值分解SVD节点的重组帧二者中的至少一种。在本专利技术的另一个实施例中，进一步包括，在确定所述重组帧中有效帧和/或无效帧的位置之前，基于如下生成所述重组帧：根据所述帧重组规则，读取第一节点值矩阵中的帧，以形成与所述第一节点值矩阵相关的多个第一节点子矩阵；利用所述多个第一节点子矩阵分别与相应的权重执行运算，以确定第二节点值矩阵；以及基于所述第二节点值矩阵生成所述重组帧。在本专利技术的又一个实施例中，读取第一节点值矩阵中的帧以形成与所述第一节点值矩阵相关的多个第一节点子矩阵包括：根据所述帧重组规则中每个重组帧内的关联帧的个数N和位置，读取第一节点值矩阵中的帧以形成N个所述第一节点子矩阵，并且使得各个第一节点子矩阵相应位置上的帧的组合对应于相应的重组帧。在本专利技术的再一个实施例中，确定第二节点值矩阵包括：根据所述第一节点子矩阵的个数N，将权重矩阵拆分为N个权重子矩阵；以及根据每个第一节点子矩阵与相应的所述权重子矩阵的运算结果，确定所述第二节点值矩阵。在本专利技术的一个实施例中，所述运算包括矩阵乘法运算。在本专利技术的另一个实施例中，确定第二节点值矩阵包括：根据所述多个第一节点子矩阵运算结果的求和结果，确定所述第二节点值矩阵。在本专利技术的又一个实施例中，所述第一节点值矩阵为所述神经网络模型的每层结构中输入节点的节点值矩阵，所述第二节点值矩阵为SVD节点的节点值矩阵。在本专利技术的再一个实施例中，所述帧重组规则包括以下任一：相邻的多个帧进行组合；和间隔的多个帧进行组合。在本专利技术的一个实施例中，所述待处理任务包括语音识别。在本专利技术实施方式的第二方面中，提供了一种用于优化神经网络模型推理的设备，包括：第一装置，其配置为根据同一批次中多个待处理任务的组合关系，以及根据所述神经网络模型的重组帧的帧重组规则，确定所述重组帧中有效帧和/或无效帧的位置，其中，所述有效帧仅包括来自同一待处理任务的帧的组合，所述无效帧包括来自不同待处理任务的帧的组合；以及第二装置，其配置为根据所述有效帧和/或所述无效帧的位置，在利用所述神经网络模型进行推理时只使用所述有效帧。在本专利技术的一个实施例中，所述第一装置还配置为：根据每个待处理任务的起始位置以及所述帧重组规则，确定所述第一层重组帧中有效帧和/或无效帧的位置；以及根据上一层重组帧中有效帧和/或无效帧的位置，确定本层重组帧中有效帧和/或无效帧的位置。在本专利技术的另一个实施例中，所述第一装置还配置为：确定所述重组帧中有效帧的位置偏移量；以及所述第二装置还配置为：根据所述位置偏移量，读取所述重组帧中的有效帧以进行后续运算操作。在本专利技术的又一个实施例中，所述第一装置还配置为：根据每个待处理任务的起始位置以及所述帧重组规则，确定所述第一层重组帧中有效帧的位置偏移量；以及根据上一层重组帧中有效帧的位置偏移量，确定本层重组帧中有效帧的位置偏移量。在本专利技术的再一个实施例中，所述第一装置还配置为：根据上一层重组帧中的相邻位置的有效帧的位置偏移量是否相同，确定本层重组帧中有效帧的位置偏移量。在本专利技术的一个实施例中，所述重组帧包括所述神经网络模型的每层结构中输入节点的重组帧和奇异值分解SVD节点的重组帧二者中的至少一种。在本专利技术的另一个实施例中，进一步包括：第三装置，其配置为根据所述帧重组规则，读取第一节点值矩阵中的帧，以形成与所述第一节点值矩阵相关的多个第一节点子矩阵；第四装置，其配置为利用所述多个第一节点子矩阵分别与相应的权重执行运算，以确定第二节点值矩阵；以及第五装置，其配置为基于所述第二节点值矩阵生本文档来自技高网...

【技术保护点】
1.一种用于优化神经网络模型推理的方法，包括：/n根据同一批次中多个待处理任务的组合关系，以及根据所述神经网络模型的重组帧的帧重组规则，确定所述重组帧中有效帧和/或无效帧的位置，其中，所述有效帧仅包括来自同一待处理任务的帧的组合，所述无效帧包括来自不同待处理任务的帧的组合；以及/n根据所述有效帧和/或所述无效帧的位置，在利用所述神经网络模型进行推理时只使用所述有效帧。/n

【技术特征摘要】
1.一种用于优化神经网络模型推理的方法，包括：
根据同一批次中多个待处理任务的组合关系，以及根据所述神经网络模型的重组帧的帧重组规则，确定所述重组帧中有效帧和/或无效帧的位置，其中，所述有效帧仅包括来自同一待处理任务的帧的组合，所述无效帧包括来自不同待处理任务的帧的组合；以及
根据所述有效帧和/或所述无效帧的位置，在利用所述神经网络模型进行推理时只使用所述有效帧。


2.根据权利要求1所述的方法，其中，确定所述重组帧中有效帧和/或无效帧的位置包括：
根据每个待处理任务的起始位置以及所述帧重组规则，确定所述第一层重组帧中有效帧和/或无效帧的位置；以及
根据上一层重组帧中有效帧和/或无效帧的位置，确定本层重组帧中有效帧和/或无效帧的位置。


3.根据权利要求1或2所述的方法，进一步包括：
确定所述重组帧中有效帧的位置偏移量；以及
根据所述位置偏移量，读取所述重组帧中的有效帧以进行后续运算操作。


4.根据权利要求3所述的方法，其中确定有效帧的位置偏移量包括：
根据每个待处理任务的起始位置以及所述帧重组规则，确定所述第一层重组帧中有效帧的位置偏移量；以及
根据上一层重组帧中有效帧的位置偏移量，确定本层重组帧中有效帧的位置偏移量。


5.根据权利要求1所述的方法，进一步包括，在确定所述重组帧中有效帧和/或无效帧的位置之前，基于如下生成所述重组帧：
根据所述帧重组规则，读取第一节点值矩阵中的帧，以形成与所述第一节点值矩阵相关的多个第一节点子矩阵；
利用所述多个第一节点子矩阵分别与相应的权重执行运算，以确定第二节点值矩阵；以及
基于所述第二节点值矩阵生成所述重组帧。


6.根据权利要求5所述的方法，其中...

【专利技术属性】
技术研发人员：蒲永杰，高飞，王玉龙，张广勇，段亦涛，
申请(专利权)人：网易有道信息技术北京有限公司，
类型：发明
国别省市：北京;11