一种数据处理方法及装置制造方法及图纸

本说明书公开了一种数据处理方法及装置，处理器可包括缓存模块以及若干个逻辑模块，处理器可获取图像传感器采集的图像数据并存储在缓存模块中，通过数据处理模型对图像数据进行处理时，针对数据处理模型的各层，获取该层的模型参数，将模型参数加载到各逻辑模块中，从缓存模块中获取该层的上一层得到的中间图像，分割中间图像得到各子中间图像，将各子中间图像加载的各逻辑模块中，通过各逻辑模块，对模型参数以及各子中间图像进行运算，得到该层得到的中间图像，并存储到缓存模块中。通过上述方法，图像数据或者各层得到的中间图像存储在缓存中，解决了数据传输带宽受限制的问题，使处理器的算力资源得到有效使用，达到了减少耗时的效果。减少耗时的效果。减少耗时的效果。

【技术实现步骤摘要】
一种数据处理方法及装置


[0001]本说明书涉及机器学习
，尤其涉及一种数据处理方法及装置。

技术介绍

[0002]目前，在硬件支持方面，可通过处理器与存储器实现机器学习模型的运算。处理器可包括图形处理器(Graphics Processing Unit，GPU)、张量处理单元(Tensor Processing Unit，TPU)等，存储器可包括诸如双倍速率同步动态随机存储器(Double Data Rate Synchronous Dynamic Random Access Memory，DDR SDRAM)等内存元器件。
[0003]以对图像数据进行目标检测、机器学习模型为卷积神经网络(Convolutional Neural Networks，CNN)模型为例，图像数据、CNN的模型参数以及CNN每一层的运算结果可存储在DDR SDRAM中，针对TPU对CNN中的任一层的运算，首先将CNN的模型参数以及图像数据或者上一层运算结果依次从DDR SDRAM中加载到TPU中，TPU根据模型参数以及图像数据进行运算，并将运算结果存储在DDR SDRAM中。
[0004]由于图像数据、CNN的运算结果等数据量较大，将其从DDR SDRAM中加载到TPU中需要较高的带宽来支撑数据传输，受限于DDR SDRAM与TPU之间的传输带宽，数据加载需要耗费较长的时间，并且，由于算力与带宽的需求呈正相关关系，当带宽受到限制时，TPU中的算力资源未能有效使用，TPU的运算速度较低，导致TPU对图像数据进行目标检测需要耗费较长的时间。

技术实现思路

[0005]本说明书实施例提供一种数据处理方法及装置，以部分解决现有技术存在的上述问题。
[0006]本说明书实施例采用下述技术方案：
[0007]本说明书提供的一种数据处理方法，处理器包括缓存模块以及若干个逻辑模块，所述方法包括：
[0008]所述处理器获取图像传感器采集的图像数据存储在所述缓存模块中，通过数据处理模型对所述图像数据进行处理；
[0009]针对所述数据处理模型的各层，获取内存中存储的所述数据处理模型的该层的模型参数，将所述模型参数加载到各逻辑模块中；并且，从所述缓存模块中获取该层的上一层得到的中间图像，根据预先确定的各逻辑模块的信息，将所述中间图像进行分割，得到若干个子中间图像，将各子中间图像加载到各逻辑模块中；
[0010]通过各逻辑模块，对所述模型参数以及各子中间图像进行运算，得到运算结果作为该层得到的中间图像，并将该层得到的中间图像存储到所述缓存模块中。
[0011]可选地，从所述缓存模块中获取该层的上一层得到的中间图像，具体包括：
[0012]若该层为所述数据处理模型的第一层，则从所述缓存模块中获取所述图像数据。
[0013]可选地，预先确定各逻辑模块的信息，具体包括：
[0014]根据所述数据处理模型的模型结构，确定所述数据处理模型中各层所需要处理的中间图像的尺寸以及各层的模型参数的信息；
[0015]根据所述数据处理模型中各层所需要处理的中间图像的尺寸和/或各层的模型参数的信息，确定所述处理器中包含的逻辑模块的数量。
[0016]可选地，将所述模型参数加载到各逻辑模块中，具体包括：
[0017]针对获取的所述模型参数的参数矩阵中的各参数值，根据该参数值在所述模型参数的参数矩阵中的位置，在各逻辑模块中，确定需要加载该参数值的各逻辑模块；
[0018]将该参数值并行加载到确定出的各逻辑模块中。
[0019]可选地，将各子中间图像加载到各逻辑模块中，具体包括：
[0020]根据各子中间图像在所述中间图像中的位置，依次将各子中间图像加载到各逻辑模块中。
[0021]可选地，依次将各子中间图像加载到各逻辑模块中，具体包括：
[0022]针对各子中间图像，将该子中间图像加载到所述逻辑模块中时，执行以下操作：
[0023]针对该子中间图像中的各像素值，根据该像素值在该子中间图像中的位置信息，在各逻辑模块中，确定需要加载该像素值的各逻辑模块；
[0024]将该像素值并行加载到确定出的各逻辑模块中。
[0025]可选地，通过各逻辑模块，对所述模型参数以及各子中间图像进行运算，得到运算结果作为该层得到的中间图像，具体包括：
[0026]针对各子中间图像，通过各逻辑模块，对所述模型参数以及该子中间图像进行运算，得到该子中间图像的运算结果；
[0027]将各子中间图像的运算结果作为所述该层得到的中间图像。
[0028]可选地，通过各逻辑模块，对所述模型参数以及该子中间图像进行运算，得到该子中间图像的运算结果，具体包括：
[0029]通过各逻辑模块，对加载到各逻辑模块中的所述模型参数以及该子中间图像进行并行运算，得到各逻辑模块关于该子中间图像的运算结果。
[0030]可选地，通过各逻辑模块，对所述模型参数以及该子中间图像进行运算，得到该子中间图像的运算结果，具体包括：
[0031]通过各逻辑模块，对所述模型参数以及该子中间图像进行卷积；
[0032]将卷积后的结果进行池化运算，得到该子中间图像的运算结果。
[0033]本说明书提供一种数据处理系统，所述系统包括：图像传感器、处理器、内存，所述处理器包括缓存模块以及若干个逻辑模块；
[0034]所述图像传感器，用于采集图像数据；
[0035]所述处理器，用于获取所述图像数据存储在所述缓存模块中以及所述内存中存储的所述数据处理模型的模型参数，将所述模型参数加载到各逻辑模块中；并且，从所述缓存模块中获取中间图像，根据预先确定的各逻辑模块的信息，将所述中间图像进行分割，得到若干个子中间图像，将各子中间图像加载到各逻辑模块中，通过各逻辑模块，对所述模型参数以及各子中间图像进行运算，得到运算结果作为中间图像，并将中间图像存储到所述缓存模块中；
[0036]所述内存，用于存储所述数据处理模型的模型参数。
[0037]本说明书提供一种数据处理装置，所述装置所在的处理器包括缓存模块以及若干个逻辑模块，所述装置包括：
[0038]获取模块，用于所述装置所在的所述处理器获取图像传感器采集的图像数据存储在所述缓存模块中，通过数据处理模型对所述图像数据进行处理；
[0039]加载模块，用于针对所述数据处理模型的各层，获取内存中存储的所述数据处理模型的该层的模型参数，将所述模型参数加载到各逻辑模块中；并且，从所述缓存模块中获取该层的上一层得到的中间图像，根据预先确定的各逻辑模块的信息，将所述中间图像进行分割，得到若干个子中间图像，将各子中间图像加载到各逻辑模块中；
[0040]运算模块，用于通过各逻辑模块，对所述模型参数以及各子中间图像进行运算，得到运算结果作为该层得到的中间图像，并将该层得到的中间图像存储到所述缓存模块中。
[0041]本说明书提供的一种计算机可读存储介质，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，处理器包括缓存模块以及若干个逻辑模块，所述方法包括：所述处理器获取图像传感器采集的图像数据存储在所述缓存模块中，通过数据处理模型对所述图像数据进行处理；针对所述数据处理模型的各层，获取内存中存储的所述数据处理模型的该层的模型参数，将所述模型参数加载到各逻辑模块中；并且，从所述缓存模块中获取该层的上一层得到的中间图像，根据预先确定的各逻辑模块的信息，将所述中间图像进行分割，得到若干个子中间图像，将各子中间图像加载到各逻辑模块中；通过各逻辑模块，对所述模型参数以及各子中间图像进行运算，得到运算结果作为该层得到的中间图像，并将该层得到的中间图像存储到所述缓存模块中。2.如权利要求1所述的方法，其特征在于，从所述缓存模块中获取该层的上一层得到的中间图像，具体包括：若该层为所述数据处理模型的第一层，则从所述缓存模块中获取所述图像数据。3.如权利要求1所述的方法，其特征在于，预先确定各逻辑模块的信息，具体包括：根据所述数据处理模型的模型结构，确定所述数据处理模型中各层所需要处理的中间图像的尺寸以及各层的模型参数的信息；根据所述数据处理模型中各层所需要处理的中间图像的尺寸和/或各层的模型参数的信息，确定所述处理器中包含的逻辑模块的数量。4.如权利要求1所述的方法，其特征在于，将所述模型参数加载到各逻辑模块中，具体包括：针对获取的所述模型参数的参数矩阵中的各参数值，根据该参数值在所述模型参数的参数矩阵中的位置，在各逻辑模块中，确定需要加载该参数值的各逻辑模块；将该参数值并行加载到确定出的各逻辑模块中。5.如权利要求1所述的方法，其特征在于，将各子中间图像加载到各逻辑模块中，具体包括：根据各子中间图像在所述中间图像中的位置，依次将各子中间图像加载到各逻辑模块中。6.如权利要求5所述的方法，其特征在于，依次将各子中间图像加载到各逻辑模块中，具体包括：针对各子中间图像，将该子中间图像加载到所述逻辑模块中时，执行以下操作：针对该子中间图像中的各像素值，根据该像素值在该子中间图像中的位置信息，在各逻辑模块中，确定需要加载该像素值的各逻辑模块；将该像素值并行加载到确定出的各逻辑模块中。7.如权利要求1所述的方法，其特征在于，通过各逻辑模块，对所述模型参数以及各子中间图像进行运算，得到运算结果作为该层得到的中间图像，具体包括：针对各子中间图像，通过各逻辑模块，对所述模型参数以及该子中间图...

【专利技术属性】
技术研发人员：柴双林，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：