终端网络模型的数据处理方法、装置、终端以及存储介质制造方法及图纸

本申请适用于人工智能技术领域，提供了一种终端网络模型的数据处理方法、装置、终端以及存储介质，该方法包括：获取待处理的数据；将所述待处理的数据输入至目标网络模型中进行处理，获得处理结果，其中所述目标网络模型中的至少一个网络层级配置有预处理函数，所述预处理函数用于在对应网络层级的输入数据的数据格式与该网络层级的量化精度不匹配时，对所述输入数据进行预处理。本申请提供的技术方案实现了在同一目标网络模型内处理不同精度的数据，解决了混合精度的神经网络的兼容性问题，提高了运算效率。提高了运算效率。提高了运算效率。

【技术实现步骤摘要】
终端网络模型的数据处理方法、装置、终端以及存储介质


[0001]本专利技术属于人工智能
，尤其涉及终端网络模型的数据处理方法、装置、终端以及存储介质。

技术介绍

[0002]随着人工智能技术的不断发展，神经网络被广泛应用于各大领域，为了应对不同的数据处理场景，神经网络中不同层级可以根据场景需求配置对应的量化精度，生成混合精度的神经网络。然而现有的混合精度的神经网络，无法处理不同网络层级量化精度不同而带来的兼容性问题，从而降低了神经网络的运算效率。

技术实现思路

[0003]本申请实施例提供了一种终端网络模型的数据处理方法、装置、终端以及存储介质，可以解决现有的人工智能技术，无法处理混合精度的神经网络中不同网络层级量化精度不同而带来的兼容性问题，从而降低了神经网络的运算效率的问题。
[0004]第一方面，本申请实施例提供了一种终端网络模型的数据处理方法，包括：
[0005]获取待处理的数据；
[0006]将所述待处理的数据输入至目标网络模型中进行处理，获得处理结果，其中所述目标网络模型中的至少一个网络层级配置有预处理函数，所述预处理函数用于在对应网络层级的输入数据的数据格式与该网络层级的量化精度不匹配时，对所述输入数据进行预处理。
[0007]在第一方面的一种可能的实现方式中，所述将所述待处理的数据输入至目标网络模型中进行处理，获得处理结果包括：
[0008]将所述待处理的数据输入至所述目标网络模型，并针对所述目标网络模型中的各个网络层级做如下处理：
>[0009]判断所述目标网络模型中当前网络层级的输入数据的数据格式是否与该网络层级的量化精度相匹配，其中所述输入数据包括所述待处理的数据或者所述待处理数据在相应网络层级处理后的数据；
[0010]若不匹配，则为所述当前网络层级配置预处理函数，并通过所述预处理函数对所述当前网络层级的输入数据进行预处理，获得预处理数据；
[0011]基于所述当前网络层级内与所述量化精度对应的网络权重以及所述预处理数据，输出所述当前网络层级的运算结果；
[0012]在所述目标网络模型中所有网络层级都处理完后，将最后一层网络层级的运算结果作为所述待处理数据的处理结果。
[0013]在第一方面的一种可能的实现方式中，若所述目标网络模型中当前网络层级的输入数据的数据格式与该网络层级的量化精度不匹配，则为所述当前网络层级配置预处理函数，包括：
[0014]若所述数据格式的数据精度大于所述量化精度，则根据所述数据精度与所述量化精度之间的比值，确定划分所述输入数据得到的数据块个数；
[0015]获取与所述量化精度对应的低比特量化函数，并根据所述数据块个数确定所述低比特量化函数的执行次数；
[0016]根据所述执行次数以及所述低比特量化函数生成所述预处理函数。
[0017]在第一方面的一种可能的实现方式中，若所述量化精度为1比特量化，所述低比特量化函数具体为：
[0018][0019]其中，为第i个数据块通过低比特量化函数的输出值；x
i
为第i个数据块在所述输入数据对应的原始值；T为预设阈值。
[0020]在第一方面的一种可能的实现方式中，若所述量化精度为2比特量化，所述低比特量化函数具体为：
[0021][0022]其中，为第i个数据块通过低比特量化函数的输出值；x
i
为第i个数据块在所述输入数据对应的原始值；T为预设阈值。
[0023]在第一方面的一种可能的实现方式中，若所述目标网络模型中当前网络层级的输入数据的数据格式与该网络层级的量化精度不匹配，则为所述当前网络层级配置预处理函数，包括：
[0024]若所述数据格式的数据精度小于所述量化精度，则在所述输入数据与所述目标网络模型的学习权重之间配置异或模块；
[0025]以所述异或模块的输出端作为计数Popcount模块的输入端，串联所述异或模块以及所述Popcount模块，并将所述串联的异或模块以及所述Popcount模块作为所述预处理函数。
[0026]在第一方面的一种可能的实现方式中，所述根据所述网络层级对应的所述预处理函数以及所述网络信息，生成所述目标网络模型，包括：
[0027]根据所述量化精度，为各个所述网络层级配置关联的初始权重；
[0028]根据各个所述初始权重以及所述预处理函数，生成所述目标网络模型。
[0029]第二方面，本申请实施例提供了一种终端网络模型的数据处理装置，包括：
[0030]数据获取单元，用于获取待处理的数据；
[0031]数据处理单元，用于将所述待处理的数据输入至目标网络模型中进行处理，获得处理结果，其中所述目标网络模型中的至少一个网络层级配置有预处理函数，所述预处理函数用于在对应网络层级的输入数据的数据格式与该网络层级的量化精度不匹配时，对所述输入数据进行预处理。
[0032]第三方面，本申请实施例提供了一种终端设备，存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机
程序时实现上述第一方面中任一项所述终端网络模型的数据处理方法。
[0033]第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述第一方面中任一项所述终端网络模型的数据处理方法。
[0034]第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述终端网络模型的数据处理方法。
[0035]可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
[0036]本申请实施例在生成目标网络模型之前，通过获取目标网络模型的网络信息，确定不同网络层级对应的量化精度，并基于当前层级的量化精度与上一层级的量化精度，配置用于转换不同精度之间数据格式的预处理函数，并根据预处理函数生成目标网络模型，在实际进行数据处理的过程中，能够通过预处理函数实现不同量化精度之间的转换，从而实现了在同一目标网络模型内处理不同精度的数据，解决了混合精度的神经网络的兼容性问题，提高了运算效率。
附图说明
[0037]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0038]图1是本申请实施例提供的手机的部分结构的框图；
[0039]图2是本申请实施例的手机的软件结构示意图；
[0040]图3是本申请第一实施例提供的一种终端网络模型的数据处理方法的实现流程图；
[0041]图4是本申请一实施例提供的网络层级的示意图；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种终端网络模型的数据处理方法，其特征在于，包括：获取待处理的数据；将所述待处理的数据输入至目标网络模型中进行处理，获得处理结果，其中所述目标网络模型中的至少一个网络层级配置有预处理函数，所述预处理函数用于在对应网络层级的输入数据的数据格式与该网络层级的量化精度不匹配时，对所述输入数据进行预处理。2.根据权利要求1所述的数据处理方法，其特征在于，所述将所述待处理的数据输入至目标网络模型中进行处理，获得处理结果包括：将所述待处理的数据输入至所述目标网络模型，并针对所述目标网络模型中的各个网络层级做如下处理：判断所述目标网络模型中当前网络层级的输入数据的数据格式是否与该网络层级的量化精度相匹配，其中所述输入数据包括所述待处理的数据或者所述待处理数据在相应网络层级处理后的数据；若不匹配，则为所述当前网络层级配置预处理函数，并通过所述预处理函数对所述当前网络层级的输入数据进行预处理，获得预处理数据；基于所述当前网络层级内与所述量化精度对应的网络权重以及所述预处理数据，输出所述当前网络层级的运算结果；在所述目标网络模型中所有网络层级都处理完后，将最后一层网络层级的运算结果作为所述待处理数据的处理结果。3.根据权利要求2所述的数据处理方法，其特征在于，若所述目标网络模型中当前网络层级的输入数据的数据格式与该网络层级的量化精度不匹配，则为所述当前网络层级配置预处理函数，包括：若所述数据格式的数据精度大于所述量化精度，则根据所述数据精度与所述量化精度之间的比值，确定划分所述输入数据得到的数据块个数；获取与所述量化精度对应的低比特量化函数，并根据所述数据块个数确定所述低比特量化函数的执行次数；根据所述执行次数以及所述低比特量化函数生成所述预处理函数。4.根据权利要求3所述的数据处理方法，其特征在于，若所述量化精度为1比特量化，所述低比特量化函数具体为：其中，为第i个数据块通过低比特量化函数的输出值；x
i
为第i个数据块在所述...

【专利技术属性】
技术研发人员：刘默翰，赵磊，石文元，俞清华，隋志成，周力，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：