一种基于视网膜机制的高速低功耗图像处理器制造技术

该发明专利技术公开了一种基于视网膜机制的高速低功耗图像处理器，属于图形处理领域。针对背景技术中存在的问题，本专利提出了一种高速、低功耗的基于人眼视网膜技术启发机制的色调映射处理器。面向嵌入式等智能设备的应用，不仅可以处理低动态设备显示高动态图像的问题，亦可以对夜间亮度较暗的图像进行亮度上的增强。具有单位功耗可以处理更多的像素数据，提高智能物联网设备的数据处理效率；实现了每秒189帧图像的处理速度，基本上超过了现有的相关硬件实现的处理技术，完全可以满足无人车、无人机等相关设备的应用需求；可根据当前使用环境的需求进行功能或技术上的实时可编程调整，大大增强的处理器的功能灵活性。

A high speed and low power image processor based on retina mechanism

The invention discloses a High-Speed Low-Power image processor based on the retina mechanism, which belongs to the field of image processing. In view of the problems existing in the background technology, this patent proposes a high-speed and low-power tone mapping processor based on the inspiration mechanism of human retina technology. For the application of embedded and other intelligent devices, it can not only deal with the problem of displaying high dynamic images on low dynamic devices, but also enhance the brightness of images with darker brightness at night. With unit power consumption, it can process more pixel data and improve the data processing efficiency of intelligent Internet of things devices; it has realized the processing speed of 189 frames per second, which is basically faster than the existing processing technology realized by related hardware, and can fully meet the application requirements of unmanned vehicle, UAV and other related equipment; it can carry out functional or technical functions according to the requirements of the current use environment The real-time programmable adjustment greatly enhances the function flexibility of the processor.

【技术实现步骤摘要】
一种基于视网膜机制的高速低功耗图像处理器
本专利技术属于图像处理领域,特别是嵌入式图像处理器。
技术介绍
现有的相关技术，其算法目前多用于科研或者其他相关的学术研究方面，多在CPU端使用。这样会造成运行速度很低，功耗高，无法实时处理图像，对于高清视频流更加无法处理。并且在CPU端使用，成本较高，更无法应用到较小的嵌入式物联网终端当中。目前已有一些学者将当前的色调映射及基于其改进的相关图像处理算法在FPGA硬件平台上予以实现，虽然这些实现采用不同的创新技术，功耗以及处理速度效果都非常可观。但是针对速度、功耗以及成本要求成本更高的场合，如无人车、无人机或者无人检测等智能物联网终端上时，就显得力有不足。并且当前一些学者提出的一些FPGA的硬件实现，其硬件处理后的图像与软件处理后的图像相比，在图像质量上也有一定的损失。随着物联网和人工智能技术应用的结合，众多的智能处理技术，将会嵌入到物联网终端，实现物联网设备的智能化。同时，物联网应用设备对功耗以及成本要求较高。因此需要与之相匹配的低功耗、低成本、高速的嵌入式智能专用FPGA处理器。并且相较于之前已有的图像处理FPGA处理器，要有新的处理架构与技术，从而达到所需的技术指标要求。目前人们使用较多的是基于数学方法的色调映射算法，基于视网膜机制的图像处理方法并应用到硬件上的目前据我们调研所知只有一种。即Raquel等人的《Real-timetonemappingonGPUandFPGA》文章中提出的在FPGA上实现基于部分视网膜机理和直方图均衡的图像处理算法。其采用了部分视网膜机理，并将其与传统的直方图均衡结合起来。该方法相比较传统的数学层面的算法，处理后的图像显得更加自然，但是其依然存在一些缺陷，其没有完全应用视网膜处理的机制，只采用了视网膜处理机制中的水平细胞部分，算法应用的不够全面。而且其在处理速度上不够快，功耗不够低，无法应用到无人机，无人驾驶等需要高速处理视频流的场景中，也无法应用到对功耗敏感的物联网等设备之中。
技术实现思路
针对
技术介绍
中存在的问题，本专利提出了一种高速、低功耗的基于人眼视网膜技术启发机制的色调映射处理器。面向嵌入式等智能设备的应用，不仅可以处理低动态设备显示高动态图像的问题，亦可以对夜间亮度较暗的图像进行亮度上的增强。本专利技术技术方案为一种基于视网膜机制的高速低功耗图像处理器，该处理器依次通过：光感受器模块、水平细胞处理模块、第二基于并行的数据分块处理模块、流水线处理模块、双极细胞处理模块对图像进行处理；所述光感受器模块包括：相邻帧特征共享模块和第一基于并行的数据分块处理模块，输入图像同时输入相邻帧特征共享模块和第一基于并行的数据分块处理模块；所述水平细胞处理模块包括：卷积核选择器、卷积核解压缩模块、第一卷积模块，所述光感受器模块中的相邻帧特征共享模块的输出数据依次经过卷积核选择器、卷积核解压缩模块的处理，所述卷积核解压缩模块和光感受器模块中第一基于并行的数据分块处理模块的输出数据同时输入第一卷积模块；所述双极细胞处理模块包括：第二卷积模块和卷积核压缩模块，所述多层卷积的流水线处理模块和卷积核压缩模块的输出数据同时输入给第二卷积模块；第二卷积模块的输出为图像处理器的输出。进一步的，所述第一基于并行的数据分块处理模块或第二基于并行的数据分块处理模块包括：数据分区控制器、BRAM阵列、数据阵列模块；所述数据分区控制器同时控制BRAM阵列和数据阵列模块，输入数据首先存入BRAM阵列，然后BRAM阵列根据数据分区控制器的指令将输入存入数据阵列模块，数据阵列模块的输出为基于并行的数据分块处理模块的输出。进一步的,所述BRAM阵列包括15个小BRAM,对输入图像进行分块处理方法为:输入图像的前15行的像素数据被缓存到了15个小BRAM中，每个BRAM中包含1024个输入数据，当需要计算出一个输出像素数据时，每次在一个时钟内更新15个像素数据，并马上输出，完成后续的和卷积核的点乘和加法求和操作；当滑动窗口进行换行时，采用S形滑动窗口，使得每一行操作的最后一部分数据得到复用，并且当卷积已经输出一行数据时，输入图像的新的一行数据已经缓存到了15个BRAM当中的一个BRAM中，为输出图像的下一行输出做准备；当每次从15个BRAM读取15个像素数据时，输入图像的第16行的新数据会被写入到第一个BRAM中；对于卷积核与待卷积数据的点乘运算，来自不同BRAM的数据将会通过一个复用器被寄存在一个15*15的乘法器阵列的数据寄存器中；数据分区控制器会动态的配置复用器以及数据寄存器，从而输入到乘法器阵列的15*15的数据会被重新排列，与卷积核完成一对一的数据点乘操作运算。进一步的，所述相邻特征共享模块包括：BRAM、均值模块、方差模块、选核模块、卷积模块、移位寄存器、反馈模块，所述均值模块、方差模块、卷积模块、移位寄存器直接从BRAM获取数据，均值模块计算得到的数据同时输出给方差模块和选核模块，方模块计算得到的数据也输出给选核模块，选核模块计算得到的数据输出给卷积模块，卷积模块输出数据给移位寄存器，移位寄存器输出数据给反馈模块；对于高速视频流第一帧图像数据首先输入均值模块计算其均值；第二帧输入标准差模块，利用第一帧计算好的均值来计算第二帧的方差；第三帧输入卷积模块，将第一帧和第二帧计算好的均值和方差送入到选核模块，为第三帧每个像素点的卷积选取不同的卷积核；在进行第三帧卷积时，同时会将提取出来的图像卷积数据来计算第三帧的均值和方差；后续每帧图像都直接输入卷积模块，将上一帧得到的均值和方法送入选核模块，为当前帧每个像素点的卷积选取不同的卷积，同时会将提取出来的图像卷积数据来计算当前帧的均值和方差，为后一帧做准备。进一步的，所述流水线处理模块包括：7个BRAM组成的存储阵列，采用S形滑动窗口方式从存储阵列中读取数据。进一步的，所述水平细胞处理模块中的卷积模块前还包括一个零检测模块，所述卷积核压缩模块中的片内只存储非重复数据。在15*15卷积的部分，算法根据每个待卷积数据的取值范围，为每个待卷积数据提供不同的卷积核，很好的适应每个卷积核的特征，使得卷积出来的图像看起来更加的自然。但是由于卷积核数量较多，会占据较大的片内存储资源，因此针对算法当中的卷积核特性，15*15部分的卷积核只有部分是非零数，并且是呈中心对称，有较多数据重复，因而针对该特性，该部分卷积核压缩电路只在片内存储卷积核当中的非重复数据，可以减少卷积核数据在片内的存储空间，同时也减少了从RAM中提取数据的功耗。同时为了进一步降低功耗，对于卷积窗口中的数据以及卷积核中的数据有零存在时，该电路架构会直接忽略零元素，使其直接不参与计算，这样也可以进一步降低DSP电路的功耗。该处理器具有以下技术优势与特点：1、高能效比：单位功耗可以处理更多的像素数据，提高智能物联网设备的数据处理效率。2、高吞吐率：本专利相比较当前已有的技术，实现了每秒189帧图像的处理速度，基本上超过了现有的相关硬件实现的处理技术，完全可以满本文档来自技高网...

【技术保护点】
1.一种基于视网膜机制的高速低功耗图像处理器，该处理器依次通过：光感受器模块、水平细胞处理模块、第二基于并行的数据分块处理模块、流水线处理模块、双极细胞处理模块对图像进行处理；/n所述光感受器模块包括：相邻帧特征共享模块和第一基于并行的数据分块处理模块，输入图像同时输入相邻帧特征共享模块和第一基于并行的数据分块处理模块；/n所述水平细胞处理模块包括：卷积核选择器、卷积核解压缩模块、第一卷积模块，所述光感受器模块中的相邻帧特征共享模块的输出数据依次经过卷积核选择器、卷积核解压缩模块的处理，所述卷积核解压缩模块和光感受器模块中第一基于并行的数据分块处理模块的输出数据同时输入第一卷积模块；/n所述双极细胞处理模块包括：第二卷积模块和卷积核压缩模块，所述多层卷积的流水线处理模块和卷积核压缩模块的输出数据同时输入给第二卷积模块；第二卷积模块的输出为图像处理器的输出。/n

【技术特征摘要】
1.一种基于视网膜机制的高速低功耗图像处理器，该处理器依次通过：光感受器模块、水平细胞处理模块、第二基于并行的数据分块处理模块、流水线处理模块、双极细胞处理模块对图像进行处理；
所述光感受器模块包括：相邻帧特征共享模块和第一基于并行的数据分块处理模块，输入图像同时输入相邻帧特征共享模块和第一基于并行的数据分块处理模块；
所述水平细胞处理模块包括：卷积核选择器、卷积核解压缩模块、第一卷积模块，所述光感受器模块中的相邻帧特征共享模块的输出数据依次经过卷积核选择器、卷积核解压缩模块的处理，所述卷积核解压缩模块和光感受器模块中第一基于并行的数据分块处理模块的输出数据同时输入第一卷积模块；
所述双极细胞处理模块包括：第二卷积模块和卷积核压缩模块，所述多层卷积的流水线处理模块和卷积核压缩模块的输出数据同时输入给第二卷积模块；第二卷积模块的输出为图像处理器的输出。


2.如权利要求1所述的一种基于视网膜机制的高速低功耗图像处理器，其特征在于所述第一基于并行的数据分块处理模块或第二基于并行的数据分块处理模块包括：数据分区控制器、BRAM阵列、数据阵列模块；所述数据分区控制器同时控制BRAM阵列和数据阵列模块，输入数据首先存入BRAM阵列，然后BRAM阵列根据数据分区控制器的指令将输入存入数据阵列模块，数据阵列模块的输出为基于并行的数据分块处理模块的输出。


3.如权利要求1所述的一种基于视网膜机制的高速低功耗图像处理器，其特征在于所述相邻特征共享模块包括：BRAM、均值模块、方差模块、选核模块、卷积模块、移位寄存器、反馈模块，所述均值模块、方差模块、卷积模块、移位寄存器直接从BRAM获取数据，均值模块计算得到的数据同时输出给方差模块和选核模块，方模块计算得到的数据也输出给选核模块，选核模块计算得到的数据输出给卷积模块，卷积模块输出数据给移位寄存器，移位寄存器输出数据给反馈模块；
对于高速视频流第一帧图像数据首先输入均值模块计算其均值；第二帧输入标准差模块，利用第一帧计算好的均值...

【专利技术属性】
技术研发人员：周军，项晓强，刘丽丽，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51