基于FPGA亮度自适应的CMOS图像降噪方法、系统与计算机可读介质技术方案

本发明专利技术涉及CMOS图像传感器降噪技术领域，公开一种基于FPGA亮度自适应的CMOS图像降噪方法、系统与计算机可读介质。该方法通过FPGA将CMOS图像传感器输出的图像接收并缓存，利用FPGA高速的并行处理能力对图像进行亮度自适应的图像滤波。首先利用FPGA内部的缓存模块将图像进行行缓存，缓存的行数为降噪模板的大小；接着通过环境照度判断和自适应滤波模块对模板内的图像数据进行均值滤波或中值滤波，再通过预设的时延后将处理后的图像进行缓存。最后利用FPGA内部的串并转换模块将缓存内的图像输出，实现了CMOS图像的实时滤波处理。实现了CMOS图像的实时滤波处理。实现了CMOS图像的实时滤波处理。

【技术实现步骤摘要】
基于FPGA亮度自适应的CMOS图像降噪方法、系统与计算机可读介质


[0001]本专利技术涉及CMOS图像传感器降噪
，尤其涉及一种基于FPGA亮度自适应的CMOS图像降噪方法、系统与计算机可读介质。

技术介绍

[0002]随着CMOS技术的高速发展，CMOS图像传感器已经广泛应用在各类场合中。但CMOS图像传感器在将光信号向电信号转换时，总会引入各种噪声，不利于后续环节的图像传输和观测。为了解决图像因噪声过多影响观测的问题，必须对含有噪声的图像进行实时的降噪处理。
[0003]目前，针对CMOS图像传感器的图像降噪方法主要有中值滤波、均值滤波、双边滤波等。中值滤波(MedianFilter)是一种非线性滤波，原理是取滤波模板内像素值得中值代替中间像素值，主要用来处理椒盐噪声。均值滤波(AverageFilter)是一种线性滤波，原理是取滤波模板内像素值的均值代替中心像素值，主要用来处理高斯噪声。然而，CMOS图像传感器在不同照度下呈现的噪声分布和噪声程度不同，如果采用单一的滤波方法进行实时降噪，容易造成图像在高照度下细节丢失，或低照度下降噪强度不够等问题；而复杂的混合滤波算法虽然可以解决处理不同噪声的问题，但算法的复杂度高，在FPGA中难以实现，不利于实时处理显示。

技术实现思路

[0004]针对现有技术中存在的问题，根据本专利技术目的的第一方面，提出一种基于FPGA亮度自适应滤波的CMOS图像降噪方法，包括以下步骤：
[0005]步骤1、FPGA内部缓存模块接收CMOS图像传感器输出的图像，并进行图像的行缓存处理，其中依照预设的滤波模板大小确定缓存行数；
[0006]步骤2、依据图像的平均灰度值和曝光增益估计当前照度模拟值，并基于当前照度模拟值与环境照度状态进行自适应选择滤波模式；
[0007]步骤3、依据所选择的滤波模式，对模板内图像数据进行处理，获取滤波后的图像数据；
[0008]步骤4、FPGA内部缓存模块存储滤波处理后的图像数据；以及
[0009]步骤5、输出滤波后图像。
[0010]由此，本专利技术提出的CMOS图像降噪方法，通过FPGA将CMOS图像传感器输出的图像接收并缓存，利用FPGA高速的并行处理能力对图像进行亮度自适应的图像滤波。
[0011]作为可选的示例，该方法的实现过程中，首先利用FPGA内部的缓存模块将图像进行行缓存，缓存的行数为降噪模板的大小；接着通过环境照度判断和自适应滤波模块对模板内的图像数据进行滤波处理，再通过预设时延后将处理后的图像进行缓存；最后利用FPGA内部的串并转换模块将缓存内的图像输出，实现了CMOS图像的实时滤波处理。
[0012]在本专利技术提出的基于FPGA亮度自适应滤波的CMOS图像降噪方法，根据不同的环境照度，对图像进行不同强度和不同类型的降噪处理，在解决了高亮度下滤波图像细节丢失的同时，也降低了图像处理系统的功耗，使图像质量处于较高的水平。
[0013]由于CMOS传感器输出图像的噪声一般会随着照度降低而呈现上升趋势。因此本专利技术针对环境照度进行预先处理，通过对单帧整幅图像的加权平均灰度值G
ave
进行计算，将计算结果和CMOS图像传感器的实时曝光时间t
exp
以及实时模拟增益值v
gain
作运算，结合加权系数c
exp
和c
gain
得出当前的模拟环境照度B
cu
。在获取了模拟环境照度B
cu
后，进一步针对图像中的椒盐噪声和高斯噪声进行处理：若环境照度B
cu
小于照度阈值B
st
，则证明目前图像中噪声严重，需要开启均值滤波模块处理高斯噪声；反之则需要关闭均值滤波模块，降低功耗。
[0014]为了防止均值滤波后图像中边缘细节丢失严重，在均值滤波前首先进行边缘判断，通过计算梯度来确定模板中心像素是否位于图像中的边缘；本专利技术拟定了可变梯度阈值G
st
，若计算后的中心像素梯度G>G
st
，则说明中心像素处于图像中的边缘，则此时不对其进行均值滤波，直接输出原始数据；反之若G>G
st
，则说明中心像素不是图像中的边缘部分，可以对其进行均值滤波，进而输出经过加权均值滤波后的像素值P
ave
，以去除高斯白噪声。
[0015]为了防止中值滤波后过多的细节丢失，本专利技术采用了自适应中值滤波的方法，首先对椒盐噪声进行判断，比较中心像素值C
l
C
p
的和周围8个像素点均值P
ave
的大小。本专利技术采用了可变容差D
gal
和D
val
进行滤波强度的设置，即中心像素和周围像素的均值差值可调的方式。高照度下的可变容差D
val
大于低照度下的可变容差D
gal
，进一步降低了高照度低噪声下降噪算法对图像的平滑效果。当C
l
C
p
大于P
ave
和容差的和时，启用P
cen
代替C
l
C
p
，反之继续输出中心像素值C
l
C
p
。
[0016]根据本专利技术目的的第二方面，还提出一种基于FPGA亮度自适应的CMOS图像降噪系统，包括：
[0017]一个或多个处理器；
[0018]存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括前述的基于FPGA亮度自适应的CMOS图像降噪系统的流程。
[0019]根据本专利技术目的的第三方面，还提出一种存储软件的计算机可读介质，所述软件包括能通过一个或多个计算机执行的指令，所述指令通过这样的执行使得所述一个或多个计算机执行操作，所述操作包括前述的基于FPGA亮度自适应的CMOS图像降噪系统的流程。
[0020]与现有技术相比，本专利技术提出的基于FPGA亮度自适应的CMOS图像降噪方法，旨在对不同环境照度下的CMOS图像传感器输出图像进行降噪处理，既可以在高亮度下保留图像的细节，又可以在低照度噪声增多时对高斯白噪声和椒盐噪声实现有效的抑制，保证图像质量的同时，也降低了硬件的功耗。
[0021]应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的专利技术主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的专利技术主题的一部分。
[0022]结合附图从下面的描述中可以更加全面地理解本专利技术教导的前述和其他方面、实施例和特征。本专利技术的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本专利技术教导的具体实施方式的实践中得知
附图说明
[0023]附图不意在按比例绘制。在附本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于FPGA亮度自适应的CMOS图像降噪方法，其特征在于，包括以下步骤：步骤1、FPGA内部缓存模块接收CMOS图像传感器输出的图像，并进行图像的行缓存处理，其中依照预设的滤波模板大小确定缓存行数；步骤2、依据图像的平均灰度值和曝光增益估计当前照度模拟值，并基于当前照度模拟值与环境照度状态进行自适应选择滤波模式；步骤3、依据所选择的滤波模式，对模板内图像数据进行处理，获取滤波后的图像数据；步骤4、FPGA内部缓存模块存储滤波处理后的图像数据；以及步骤5、输出滤波后图像。2.根据权利要求1所述的基于FPGA亮度自适应的CMOS图像降噪方法，其特征在于，所述FPGA内部缓存模块接收CMOS图像传感器输出的图像，并进行图像的行缓存处理，包括：将CMOS图像传感器输出的12位的图像数据记为data，1位的行同步信号记为hs，1位的帧同步信号记为vs，1位的数据有效信号记为de；在降噪处理前，按照下述方式进行行缓存：将某一像素对应的data，hs，vs，de共15位数据整合，通过FPGA内部的移位寄存器进行行缓存操作，缓存行数为预设的滤波模板大小。3.根据权利要求2所述的基于FPGA亮度自适应的CMOS图像降噪方法，其特征在于，所述依据图像的平均灰度值和曝光增益估计当前照度模拟值，并基于当前照度模拟值与环境照度状态进行自适应选择滤波模式，包括：步骤2
‑
1、结合vs和hs信号，统计出一帧图像不同区域灰度值平均值G
s
(i)，w代表不同区域的均值的权重，i代表不同区域位号，k代表区域的总数；通过累加和移位运算得出一帧图像的平均灰度值G
ave
：步骤2
‑
2、通过加权平均灰度值G
ave
和自适应滤波亮度阈值G
adp
计算当前照度模拟值B
cu
：B
cu
＝G
adp
*G
ave
*c
br
其中，c
br
为照度阈值系数。若B
cu
>B
st
，代表环境照度较高，进行第一模式的滤波处理；若B
cu
≤B
st
，代表环境照度较低，进行第二模式的滤波处理。4.根据权利要求3所述的基于FPGA亮度自适应的CMOS图像降噪方法，其特征在于，依据所选择的滤波模式，对模板内图像数据进行处理，获取滤波后的图像数据，包括：第一模式的滤波处理：(1)基于在步骤1中所述的滤波模板，为3
×
3的滤波阵列：三行像素依次表示为F
l
，C
l
，N
l
；三列像素依次表示为F
p
，C
p
，N
p
；滤波阵列的九个像素的坐标值为行、列像素坐标的组合，具体如下：F
l
F
p
F
l
N
p
F
l
N
p
C
l
F
p
C
l
C
p
C
l
N
p
N
l
F
p
N
l
C
p
N
l
N
p
(2)按下式计算出滤波模板的像素值的均值P
ave
，其中c1～c8为中心像素周围像素的加权系数：(3)通过五次排序计算出滤波模板的像素值的中值：首先，分别计算出滤波模板的三列数据中的每一列的最大值、中值和最小值，得到一组最大值、一组中值和一组最小值；然后，以所得到的一组最大值、一组中值和一组最小值为基础，分别排序获得该组最大值中的最小值、该组中值中的中值和该组最小值中的最大值，依次获得一个最小值、一个中值以及一个最大值；最后，计算前述获得一个最小值、一个中值以及一个最大值的中值MED，即作为滤波模板的中值P
cen
；(4)通过以下流程判断滤波模板的中心像素是否为边缘点：首先，分别计算以滤波模板的中心像素C
l
C
p
点为中心的水平、垂直、45
°
、135
°
四个方向的梯度；然后，将四个方向的梯度相加，得出中心点的梯度值G；最后，比较G和G
st
的大小，G
st
为边缘梯度预设值：若G>G
st
，则输出P
ave
作为下一步骤的原始数据D
ave
；若G≤G
st
，则输出C
l
C
p
作为下一步骤的原始数据D
ave
；(5)设定D
val
为预设的亮度值容差，比较D
ave
与P
ave
+D<...

【专利技术属性】
技术研发人员：季云洲，杨锋，顾燕，董隽媛，李海生，朱波，吕扬，焦国力，乔延婷，
申请(专利权)人：北方夜视科技南京研究院有限公司，
类型：发明
国别省市：