数据处理方法和电子设备技术

本申请提出了一种数据处理方法和电子设备，涉及数据处理技术领域。其中，上述数据处理方法包括：首先，确定待处理数据的第一数据排布格式。然后，从神经网络模型的各个网络层中筛选第一网络层，目标芯片在第一网络层支持的数据排布格式与第一数据排布格式不一致。其次，根据筛选出的第一网络层，确定至少一个网络层子集，每个网络层子集包括至少一个第一网络层。最后，为每个网络层子集添加格式转换层，并基于添加格式转换层的神经网络模型对待处理数据进行处理。从而，可以对输入网络层子集的待处理数据进行数据排布格式转换，提高目标芯片对各种排布格式的数据的处理效率。芯片对各种排布格式的数据的处理效率。芯片对各种排布格式的数据的处理效率。

【技术实现步骤摘要】
数据处理方法和电子设备


[0001]本申请涉及数据处理
，尤其涉及一种数据处理方法和电子设备。

技术介绍

[0002]在深度学习领域，神经网络模型处理的数据通常是多维数据。多维数据具有不同的排布格式，以常见的四维数据为例，四个维度分别为：数量(N)、高度(H)、宽度(W)以及通道数(C)，其排布格式主要有NHWC以及NCHW。
[0003]应用神经网络模型进行数据处理时，芯片对输入各个网络层的数据的排布格式有特定的要求。如果输入数据的排布格式与芯片要求的排布格式不符，那么芯片的处理效率会比较低，甚至无法处理。在这种情况下，如何提高数据处理效率是待解决的问题。

技术实现思路

[0004]本申请实施例提供了一种数据处理方法和电子设备，用以提高目标芯片对各种排布格式的待处理数据的处理效率。
[0005]第一方面，本申请实施例提供一种数据处理方法，包括：确定待处理数据的第一数据排布格式；从神经网络模型的各个网络层中筛选第一网络层，所述目标芯片在所述第一网络层支持的数据排布格式与所述第一数据排布格式不一致；根据筛选出的所述第一网络层，确定至少一个网络层子集，每个所述网络层子集包括至少一个所述第一网络层；为每个所述网络层子集添加格式转换层，所述格式转换层用于对所述待处理数据进行数据排布格式转换；基于添加所述格式转换层的神经网络模型对所述待处理数据进行处理。
[0006]其中一种可能的实现方式中，根据筛选出的所述第一网络层，确定至少一个网络层子集，包括：如果排布次序连续的N个网络层均为第一网络层，则将所述N个第一网络层确定为一个网络层子集，所述N为正整数。
[0007]其中一种可能的实现方式中，根据筛选出的所述第一网络层，确定至少一个网络层子集，包括：如果N个第一网络层之间连接有至少一个第二网络层，则将所述N个第一网络层和所述至少一个第二网络层确定为一个网络层子集；所述目标芯片在所述第二网络层的处理效率与数据排布格式无关。
[0008]其中一种可能的实现方式中，所述格式转换层包括格式更改层和格式恢复层；为每个所述网络层子集添加格式转换层，包括：在每个所述网络层子集的首个第一网络层的输入侧添加所述格式更改层，所述格式更改层用于将所述第一数据排布格式更改为所述目标芯片支持的数据排布格式；在每个所述网络层子集的最后一个第一网络层的输出侧添加所述格式恢复层，所述格式恢复层用于将输出数据的数据排布格式还原为所述第一数据排布格式。
[0009]第二方面，本申请实施例提供一种数据处理方法，包括：将第一数据排布格式的待处理数据输入神经网络模型，所述神经网络模型包括至少一个网络层子集，每个所述网络层子集均添加有格式转换层，每个所述网络层子集包括至少一个第一网络层，目标芯片在
所述第一网络层支持的数据排布格式与所述第一数据排布格式不一致；对所述待处理数据进行处理，其中，所述格式转换层用于对所述待处理数据进行数据排布格式转换。
[0010]其中一种可能的实现方式中，所述方法还包括：所述格式转换层包括格式更改层和格式恢复层；所述格式更改层添加在每个所述网络层子集的首个第一网络层的输入侧，用于将所述第一数据排布格式更改为所述目标芯片支持的数据排布格式；所述格式恢复层添加在每个所述网络层子集的最后一个第一网络层的输出侧，用于将输出数据的数据排布格式还原为所述第一数据排布格式。
[0011]第三方面，本申请实施例提供一种数据处理装置，包括：第一确定模块，用于确定待处理数据的第一数据排布格式；筛选模块，用于从神经网络模型的各个网络层中筛选第一网络层，所述目标芯片在所述第一网络层支持的数据排布格式与所述第一数据排布格式不一致；第二确定模块，用于根据筛选出的所述第一网络层，确定至少一个网络层子集，每个所述网络层子集包括至少一个所述第一网络层；添加模块，用于为每个所述网络层子集添加格式转换层，所述格式转换层用于对所述待处理数据进行数据排布格式转换；执行模块，用于基于添加所述格式转换层的神经网络模型对所述待处理数据进行处理。
[0012]其中一种可能的实现方式中，所述第二确定模块具体用于，如果排布次序连续的N个网络层均为第一网络层，则将所述N个第一网络层确定为一个网络层子集，所述N为正整数。
[0013]其中一种可能的实现方式中，所述第二确定模块具体用于，如果N个第一网络层之间连接有至少一个第二网络层，则将所述N个第一网络层和所述至少一个第二网络层确定为一个网络层子集；所述目标芯片在所述第二网络层的处理效率与数据排布格式无关。
[0014]其中一种可能的实现方式中，所述格式转换层包括格式更改层和格式恢复层，所述添加模块具体用于，在每个所述网络层子集的首个第一网络层的输入侧添加所述格式更改层，所述格式更改层用于将所述第一数据排布格式更改为所述目标芯片支持的数据排布格式；在每个所述网络层子集的最后一个第一网络层的输出侧添加所述格式恢复层，所述格式恢复层用于将输出数据的数据排布格式还原为所述第一数据排布格式。
[0015]第四方面，本申请实施例提供一种数据处理装置，包括：输入模块，用于将第一数据排布格式的待处理数据输入神经网络模型，所述神经网络模型包括至少一个网络层子集，每个所述网络层子集均添加有格式转换层，每个所述网络层子集包括至少一个第一网络层，目标芯片在所述第一网络层支持的数据排布格式与所述第一数据排布格式不一致；处理模块，用于对所述待处理数据进行处理，其中，所述格式转换层用于对所述待处理数据进行数据排布格式转换。
[0016]第五方面，本申请实施例提供一种电子设备，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如第一方面所述的方法。
[0017]第六方面，本申请实施例提供一种电子设备，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如第二方面所述的方法。
[0018]第七方面，本申请实施例提供一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，能够执行如第一方面和第二方面所述的
方法。
[0019]第八方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如第一方面和第二方面所述的方法。
[0020]以上技术方案中，首先，确定待处理数据的第一数据排布格式。然后，从神经网络模型的各个网络层中筛选第一网络层，目标芯片在第一网络层支持的数据排布格式与第一数据排布格式不一致。其次，根据筛选出的第一网络层，确定至少一个网络层子集，每个网络层子集包括至少一个第一网络层。最后，为每个网络层子集添加格式转换层，并基于添加格式转换层的神经网络模型对待处理数据进行处理。从而，可以对输入网络层子集的待处理数据进行数据排布格式转换，提高目标芯本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：确定待处理数据的第一数据排布格式；从神经网络模型的各个网络层中筛选第一网络层，所述目标芯片在所述第一网络层支持的数据排布格式与所述第一数据排布格式不一致；根据筛选出的所述第一网络层，确定至少一个网络层子集，每个所述网络层子集包括至少一个所述第一网络层；为每个所述网络层子集添加格式转换层，所述格式转换层用于对所述待处理数据进行数据排布格式转换；基于添加所述格式转换层的神经网络模型对所述待处理数据进行处理。2.根据权利要求1所述的方法，其特征在于，根据筛选出的所述第一网络层，确定至少一个网络层子集，包括：如果排布次序连续的N个网络层均为第一网络层，则将所述N个第一网络层确定为一个网络层子集，所述N为正整数。3.根据权利要求1所述的方法，其特征在于，根据筛选出的所述第一网络层，确定至少一个网络层子集，包括：如果N个第一网络层之间连接有至少一个第二网络层，则将所述N个第一网络层和所述至少一个第二网络层确定为一个网络层子集；所述目标芯片在所述第二网络层的处理效率与数据排布格式无关。4.根据权利要求1所述的方法，其特征在于，所述格式转换层包括格式更改层和格式恢复层；为每个所述网络层子集添加格式转换层，包括：在每个所述网络层子集的首个第一网络层的输入侧添加所述格式更改层，所述格式更改层用于将所述第一数据排布格式更改为所述目标芯片支持的数据排布格式；在每个所述网络层子集的最后一个第一网络层的输出侧添加所述格式恢复层，所述格式恢复层用于将输出数据的数据排布格式还原为所述第一数据排布格式。5.一种数据处理方法，其特征在于，包括：将第一数据...

【专利技术属性】
技术研发人员：董雨西，杨子龙，
申请(专利权)人：展讯通信天津有限公司，
类型：发明
国别省市：