一种图像处理方法与图像处理装置制造方法及图纸

本发明专利技术实施例公开了一种图像处理装置，用于提升处理图像的性能。本发明专利技术实施例提供的图像处理装置包括异构的分区处理单元与分类处理单元、用于存放待处理的图像的第一内存以及用于存放分区处理单元进行图像分区操作的结果的第二内存。其中，第一内存与第二内存均由分区处理单元和分类处理单元所共享。本发明专利技术实施例将共用的数据保存在共享的内存中，进而减少了图像处理过程中不同处理单元之间的数据搬运操作，避免了处理单元之间数据搬运所造成的时延，能够加快图像处理的速度，提高图像处理的性能。本发明专利技术实施例还提供了相关的图像处理方法。

Image processing method and image processing device

The embodiment of the invention discloses an image processing device used to enhance the performance of processing images. The image processing device provided by the embodiment of the invention comprises a heterogeneous partition and classification processing unit, processing unit for the first memory image to be processed and stored for storing partition processing unit for image partition operation results of the second memory. Wherein, the first memory and the second memory are shared by the partition processing unit and the classification processing unit. The embodiment of the invention will share the data stored in the shared memory, thereby reducing the data handling operations between different processing units in the process of image processing, to avoid the delay of data handling unit caused by, can accelerate the speed of image processing, improve the performance of image processing. The embodiment of the invention also provides related image processing methods.

【技术实现步骤摘要】
一种图像处理方法与图像处理装置
本专利技术设计图像处理领域，尤其涉及一种图像处理方法与图像处理装置。
技术介绍
在图像处理领域，图像中目标的检测识别一般由分区和分类两步操作来实现，如图1所示：图像分区模型接受输入的图像，并把输入的图像划分成大小不同的区域；图像分类模型采用卷积神经网络或其它分类算法，通过层次化结构不断提取图像每个区域的特征，最终识别出目标物体。在进行图像的目标检测识别过程中，分区和分类操作对于处理器的性能要求有所不同，现阶段的技术中一般采用异构平台进行图像识别。例如，采用中央处理器(CPU，CentralProcessingUnit)+图形处理器(GPU，GraphicsProcessingUnit)异构平台进行图像识别。GPU是一种易编程、高性能的处理器。与主要用于数据计算和指令解读的CPU不同，GPU专为执行复杂的数学和几何计算所设计，主要用于图形图像处理。为了充分的发挥CPU的计算性能以及GPU的图像处理性能，在图像识别时采用CPU+GPU异构平台，先使用CPU进行图像分区，然后再采用GPU来进行图像分类。但是异构平台中，不同类型的处理器的内存相互独立，例如在CPU+GPU异构平台中，CPU有独立的CPU内存，GPU也有独立的GPU内存(也可以称为显存)。因此，采用异构平台进行目标检测识别时，异构处理器之间(如CPU与GPU之间)需要不断的交互数据，大量的数据交互操作会造成较长的时延，影响整个异构平台的检测性能。
技术实现思路
本专利技术提供了一种图像处理方法，用于提升图像处理的性能。本专利技术还提供了相关的图像处理装置。本专利技术第一方面提供了一种图像处理方法，适用于图像处理装置。该图像处理装置的处理单元包括分区处理单元和分类处理单元，内存包括第一内存与第二内存，分区处理单元可以为CPU、DSP、处理核或其它能够实现图像分区操作的硬件电路，分类处理单元可以为GPU、FPGA能够实现图像分类操作的硬件电路。其中，分区处理单元和分类处理单元是异构的处理单元，且共享该第一内存与第二内存。第一内存中保存有待处理的第一图像，分区处理单元从第一内存中获取该第一图像，并对第一图像进行分区，得到第一分区结果，然后将第一分区结果保存在第二内存中。分类处理单元从第二内存中获取分区处理单元保存的第一分区结果，并从第一内存中获取第一图像。然后分类处理单元根据第一图像与第一分区结果，对第一图像进行分类，得到第一分类结果。与现阶段的技术中异构的处理单元之间的内存相互独立不同，本专利技术中第一内存与第二内存被分区处理单元和分类处理单元共享，因此被共用的数据如第一图像、第一分区结果等数据无需在分区处理单元与分类处理单元之间搬运，这样就避免了处理单元之间数据搬运所造成的时延，加快了图像处理的速度，提高了图像处理的性能。可选的，图像处理装置的处理单元还可以包括调度处理单元，用于从图像处理装置外部获取待处理的第一图像，并将获取的第一图像保存在第一内存中。其中，由于调度处理单元需要访问第一内存，因此调度处理单元与分区处理单元、分类处理单元一起共享第一内存。可选的，各处理单元并不会批量处理多幅图像，而是采用流水线的方式，串行处理多幅图像。具体的，调度处理单元在将获取的第一图像保存在第一内存中之后，再执行如下操作：获取待处理的第二图像，并将第二图像保存在第一内存中。分区处理单元在得到第一分区结果后，再执行如下步骤：从第一内存中获取第二图像，对第二图像进行分区得到第二分区结果，并将第二分区结果保存在第二内存中。分类处理单元在得到所述第一分类结果之后，再执行如下步骤：从第一内存中获取第二图像，从第二内存中获取第二分区结果，然后根据第二图像与第二分区结果，对第二图像进行分类得到第二分类结果。采用流水线的方式能够降低各处理单元对内存容量的要求，并充分利用每个处理单元。可选的，调度处理单元可以对各个处理单元的启动、工作、挂起进行控制，具体的，调度处理单元可以控制调度处理单元启动获取待处理的第二图像操作的时刻点，不早于分区处理单元启动对所述第一图像进行分区操作的时刻点，以降低调度处理单元的平均功率；同理的，调度处理单元还可以控制分区处理单元启动对第二图像进行分区操作的时刻点，不早于分类处理单元启动对第一图像进行分类操作的时刻点，以降低分区处理单元的平均功率。可选的，调度处理单元在第二内存的占用率达到第一预置占用率或第二内存已满时，可以挂起分区处理单元，以避免分区处理单元计算得到的分区结果在第二内存中积压。可选的，图像处理装置还可以包括第三内存，用于保存分类处理单元计算得到的分类结果。分类处理单元在得到第一分类结果后，将第一分类结果保存到第三内存中。调度处理单元负责从第三内存中读取第一分类结果，并将第一分类结果输出到图像处理装置外部，如将第一分类结果写入磁盘。其中，第三内存至少被调度处理单元与分类处理单元所共享。可选的，调度处理单元在第三内存的占用率达到第二预置占用率或第三内存已满时，可以挂起分类处理单元，以避免分类处理单元计算得到的分类结果在第三内存中积压。可选的，调度处理单元还可以负责调整图像处理装置中的内存的大小或带宽。具体的，调度处理单元可以获取分区处理单元执行对第一图像进行分区操作的第一时长，以及分类处理单元执行对第一图像进行分类操作的第二时长。若第一时长大于第二时长，则说明分类处理单元进行分类操作的速率要快于分区处理单元进行分区操作的速率，调度处理单元可以增大第二内存的大小，和/或增大所述第二内存的带宽，和/或减小第三内存的大小，和/或减小第三内存的带宽。可替换的，若第一时长小于所述第二时长，则说明分区处理单元进行分区操作的速率要快于分类处理单元进行图像分类的速率，调度处理单元可以减小第二内存的大小，和/或减小所述第二内存的带宽，和/或增大第三内存的大小，和/或增大第三内存的带宽。可选的，图像处理装置还可以包括第四内存和/或第五内存，其中第四内存用于保存分区处理单元进行分区操作时的中间结果，第五内存用于保存分类处理单元进分类操作时的中间结果。当第一时长大于第二时长时，调度处理单元还可以增大第四内存的大小，和/或减小第五内存的大小、和/或增大第四内存的带宽，和/或减小第五内存的带宽。可替换的，当第一时长小于第二时长时，调度处理单元可以减小第四内存的大小，和/或增大第五内存的大小、和/或减小第四内存的带宽，和/或增大第五内存的带宽。可选的，调度处理单元在第四内存的占用率达到第三预置占用率或第四内存已满时，可以挂起分区处理单元。和/或，调度处理单元在第五内存的占用率达到第四预置占用率或第五内存已满时，可以挂起分类处理单元。可选的，图像处理装置还可以包括第六内存，用于保存分区处理单元进行分区操作的算法参数以及分类处理单元进行分类操作的算法参数，该第六内存至少被分区处理单元与分类处理单元所共享。本专利技术第二方面提供了一种图像处理装置，该图像处理装置的处理单元包括分区处理单元和分类处理单元，内存包括第一内存与第二内存，分区处理单元可以为CPU、DSP、处理核或其它能够实现图像分区操作的硬件电路，分类处理单元可以为GPU、FPGA能够实现图像分类操作的硬件电路。其中，分区处理单元和分类处理单元是异构的处理单元，且共享该第一内本文档来自技高网...

【技术保护点】
一种图像处理方法，适用于图像处理装置，其特征在于，所述图像处理装置包括分区处理单元和分类处理单元，所述图像处理装置还包括第一内存与第二内存，其中，所述分区处理单元和所述分类处理单元是异构处理单元，所述分区处理单元与所述分类处理单元共享所述第一内存与所述第二内存，所述方法包括：所述分区处理单元从所述第一内存中获取待处理的第一图像，对所述第一图像进行分区，得到第一分区结果，并将所述第一分区结果保存在所述第二内存中；所述分类处理单元从所述第一内存中获取所述第一图像，从所述第二内存中获取所述第一分区结果，然后根据所述第一图像与所述第一分区结果，对所述第一图像进行分类，得到第一分类结果。

【技术特征摘要】
1.一种图像处理方法，适用于图像处理装置，其特征在于，所述图像处理装置包括分区处理单元和分类处理单元，所述图像处理装置还包括第一内存与第二内存，其中，所述分区处理单元和所述分类处理单元是异构处理单元，所述分区处理单元与所述分类处理单元共享所述第一内存与所述第二内存，所述方法包括：所述分区处理单元从所述第一内存中获取待处理的第一图像，对所述第一图像进行分区，得到第一分区结果，并将所述第一分区结果保存在所述第二内存中；所述分类处理单元从所述第一内存中获取所述第一图像，从所述第二内存中获取所述第一分区结果，然后根据所述第一图像与所述第一分区结果，对所述第一图像进行分类，得到第一分类结果。2.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理装置还包括调度处理单元，所述调度处理单元与所述分区处理单元、所述分类处理单元共享所述第一内存，所述方法在所述分区处理单元从所述第一内存中获取待处理的第一图像之前还包括：所述调度处理单元获取待处理的所述第一图像，并将获取的所述第一图像保存在所述第一内存中。3.根据权利要求2所述的图像处理方法，其特征在于，所述调度处理单元在将获取的所述第一图像保存在所述第一内存中之后，启动执行如下步骤：获取待处理的第二图像，并将获取的所述第二图像保存在所述第一内存中；所述分区处理单元在得到所述第一分区结果后，启动执行如下步骤：从所述第一内存中获取所述第二图像，对所述第二图像进行分区，得到第二分区结果，并将所述第二分区结果保存在所述第二内存中；所述分类处理单元在得到所述第一分类结果之后，启动执行如下步骤：从所述第一内存中获取所述第二图像，从所述第二内存中获取所述第二分区结果，然后根据所述第二图像与所述第二分区结果，对所述第二图像进行分类，得到第二分类结果。4.根据权利要求3所述的图像处理方法，其特征在于，所述调度处理单元启动获取待处理的所述第二图像操作的时刻点，不早于所述分区处理单元启动对所述第一图像进行分区操作的时刻点；和/或，所述分区处理单元启动对所述第二图像进行分区操作的时刻点，不早于所述分类处理单元启动对所述第一图像进行分类操作的时刻点。5.根据权利要求2至4中任一项所述的方法，其特征在于，所述方法还包括：若所述第二内存的占用率达到第一预置占用率，则所述调度处理单元挂起所述分区处理单元。6.根据权利要求2至5中任一项所述的方法，其特征在于，所述图像处理装置还包括第三内存，所述调度处理单元与所述分类处理单元共享所述第三内存，所述方法还包括：所述分类处理单元将所述第一分类结果保存在所述第三内存中；所述调度处理单元从所述第三内存中获取所述第一分类结果，并将所述分类结果从所述图像分类装置输出。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：若所述第三内存的占用率达到第二预置占用率，则所述调度处理单元挂起所述分类处理单元。8.根据权利要求2至7中任一项所述的方法，其特征在于，所述方法还包括：所述调度处理单元获取：所述分区处理单元执行对所述第一图像进行分区操作的第一时长，以及所述分类处理单元执行对所述第一图像进行分类操作的第二时长；若所述第一时长大于所述第二时长，则所述调度处理单元增大所述第二内存的大小，和/或增大所述第二内存的带宽；和/或，若所述第一时长小于所述第二时长，则所述调度处理单元减小所述第二内存的大小，和/或减小所述第二内存的带宽。9.根据权利要求6或7所述的方法，其特征在于，所述方法还包括：所述调度处理单元获取：所述分区处理单元执行对所述第一图像进行分区操作的第一时长，以及所述分类处理单元执行对所述第一图像进行分类操作的第二时长；若所述第一时长大于所述第二时长，则所述调度处理单元减小所述第三内存的大小，和/或减小所述第三内存的带宽；和/或，若所述第一时长小于所述第二时长，则所述调度处理单元增大所述第三内存的大小，和/或增大所述第三内存的带宽。10.根据权利要求2至7中任一项所述的方法，其特征在于，所述图像处理装置还包括：第四内存，用于保存所述分区处理单元进行分区操作时的中间结果；和/或，第五内存，用于保存所述分类处理单元进分类操作时的中间结果；所述方法还包括：所述调度处理单元获取：所述分区处理单元执行对所述第一图像进行分区操作的第一时长，以及所述分类处理单元执行对所述第一图像进行分类操作的第二时长；若所述第一时长大于所述第二时长，则所述调度处理单元增大所述第四内存的大小，和/或减小所述第五内存的大小、和/或增大所述第四内存的带宽，和/或减小所述第五内存的带宽；若所述第一时长小于所述第二时长，则所述调度处理单元减小所述第四内存的大小，和/或增大...

【专利技术属性】
技术研发人员：姚骏，汪涛，汪玉，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44