一种Raw域图像的降噪方法及其装置、相机和终端制造方法及图纸

本发明专利技术提供了一种Raw域图像的降噪方法及其装置、相机和终端，该降噪方法通过对相同曝光下抓取的多帧Bayer原始域Raw图像直接进行处理，使用Bayer原始帧进行对齐和融合处理，可获得更多的像素比特数，且将多帧Bayer原始域Raw图像融合成一帧后，作为降噪后的输出图像，后续可以再进行硬件ISP处理，流程更高效。采用基于快速傅里叶变换的对齐算法对多帧Raw图像进行多帧对齐处理，能够更稳定，减小计算量的同时还改善对齐导致的边缘伪像等。采用基于卡尔曼滤波的融合方法，对多帧Raw图像进行多帧融合处理，能够有效减小运动鬼影，更好地去除运动物体噪声，且对运动模糊清晰化，去噪效果更好，时域去噪效果也更好，使得去噪更高效，鲁棒性更强。棒性更强。棒性更强。

【技术实现步骤摘要】
一种Raw域图像的降噪方法及其装置、相机和终端


[0001]本专利技术涉及图像处理
，尤其涉及一种Raw域图像的降噪方法及其装置、相机和终端。

技术介绍

[0002]当前，手机相机要拍摄质量高的照片的主要技术障碍是光线不足。尤其在室内或夜间拍摄时，场景本身光线不足。为了获得足够的光线，常用的一种方式是使用模拟增益和数字增益，这导致噪声进一步放大；常用的另一种方式是延长曝光时间，这样会由于相机抖动或拍摄对象运动导致运动模糊。同样，高动态范围的日间拍摄也可能受到光线不足的影响，尤其是利用减少曝光来抑制高光时，阴影区(暗区)收集不到足够的光线，此时利用局部色调映射来提亮暗区再次放大了噪声。获取足够光线的方法还包括大光圈镜头、闪光灯等，但是每一种方法都是一种权衡。手机相机受厚度限制，光圈不能无限增大，只能在有限范围内尽可能增大；闪光灯是最不受欢迎的一种选择，虽然瞬间增加了光线，但闪光的方式令人不快。一方面光线不足导致了弱光下拍摄产生较多噪声；另一方面，由于手机相机的成像元件(通常为CMOS)不可避免地受到热噪声等的影响，使得弱光下拍摄的图像通常有大量噪声。故图像去噪成为一项必不可少的工作。
[0003]图像去噪的方法多种多样，然而单帧降噪方法在去噪的同时也会损失较多细节。噪声与细节两者兼顾的解决方法便是多帧降噪，即在相同曝光下的连续获取多帧，对这些帧进行一定处理(如多帧对齐)后融合(加权平均即滤波)成一帧图像，此方法可以融合一帧的空域去噪和多帧的时域去噪，能够尽可能保留更多的图像细节，且达到有效去噪的目的。当前多帧降噪方法已成为手机相机主流的降噪方法。在yuv域做处理的都比较多，应用比较广泛，但计算量大、耗时长一直是多帧降噪的痛点问题，同时对噪声与细节的平衡、运动模糊或鬼影处理等也是当前多帧降噪的常见问题。

技术实现思路

[0004]本专利技术提供了一种Raw域图像的降噪方法及其装置、相机和终端，去噪效果更好。
[0005]第一方面，本专利技术提供了一种Raw域图像的降噪方法，该Raw域图像的降噪方法包括：接收输入的多帧Raw图像，多帧Raw图像为相同曝光下抓取的多帧Bayer原始域Raw图像；从多帧Raw图像中，挑选一帧Raw图像作为参考帧，其他的帧Raw图像作为待对齐帧；采用基于快速傅里叶变换的对齐算法，对多帧Raw图像进行多帧对齐处理，得到所有的待对齐帧与参考帧中对齐的块的位置信息；采用基于卡尔曼滤波的融合方法，对多帧Raw图像进行多帧融合处理，得到降噪后的输出图像。
[0006]在上述的方案中，通过对相同曝光下抓取的多帧Bayer原始域Raw图像直接进行处理，即输入的多帧Bayer原始域Raw图像不再使用经过硬件图像信号处理器上颜色校正、Gamma、去马赛克等处理后的RGB帧或YUV帧，而是使用Bayer原始帧进行对齐和融合处理，可获得更多的像素比特数，且将多帧Bayer原始域Raw图像融合成一帧后，作为降噪后的输出
图像，后续可以再进行硬件ISP处理，流程更高效。而且，本申请中采用基于快速傅里叶变换的对齐算法对多帧Raw图像进行多帧对齐处理，能够更稳定，减小计算量的同时还改善对齐导致的边缘伪像等。且本申请还采用基于卡尔曼滤波的融合方法，对多帧Raw图像进行多帧融合处理，能够有效减小运动鬼影，更好地去除运动物体噪声，且对运动模糊清晰化，去噪效果更好，时域去噪效果也更好，使得去噪更高效，鲁棒性更强。另外，本申请的降噪方法利用一个改进的上升余弦窗口，明显减小计算量，占用存储空间小，能够明显减小算法耗时。
[0007]在一个具体的实施方式中，在接收输入的多帧Raw图像之前，该Raw域图像的降噪方法还包括：根据拍摄场景，确认相同曝光下需要抓取Bayer原始域Raw图像的帧数。通过在处理前首先进行拍摄场景检测，确定抓取Raw图像的帧数，防止帧数过少而影响降噪效果，同时也防止帧数过多而增大计算量。
[0008]在一个具体的实施方式中，根据拍摄场景，确认相同曝光下需要抓取Bayer原始域Raw图像的帧数，包括：预先划分不同的BV段；预先设置不同BV段的欠曝区灰度阈值、欠曝区占比阈值、过曝区灰度阈值和过曝区占比阈值；接收检测得到的拍摄场景的环境亮度BV值，并判断环境亮度BV值所属的BV段；根据环境亮度BV值所属BV段的欠曝区灰度阈值和过曝区灰度阈值，计算环境亮度BV值分别在R、G、B三个通道中的欠曝区占比和过曝区占比，并筛选出R、G、B三个通道中的最大欠曝区占比值和最大过曝区占比值；根据环境亮度BV值所属BV段的欠曝区占比阈值和过曝光占比阈值、以及最大欠曝区占比值和最大过曝区占比值，确定相同曝光下需要抓取Bayer原始域Raw图像的帧数。在拍摄场景检测部分，对拍摄场景划分不仅考虑了亮度值，同时考虑了动态范围，提高所确定抓取Raw图像的帧数的准确度，从而提高降噪效果。
[0009]在一个具体的实施方式中，从多帧Raw图像中，挑选一帧Raw图像作为参考帧，包括：从多帧Raw图像中，挑选出锐度最大的帧Raw图像作为参考帧，能够避免拍摄手抖和场景运动引起的模糊。
[0010]在一个具体的实施方式中，从多帧Raw图像中，挑选一帧Raw图像作为参考帧还包括：从多帧Raw图像中的前3帧中挑选出锐度最大的帧Raw图像，作为参考帧，能够减小快门延迟的影响。
[0011]在一个具体的实施方式中，采用基于快速傅里叶变换的对齐算法，对多帧Raw图像进行多帧对齐处理，得到所有的待对齐帧与参考帧中对齐的块的位置信息，包括：
[0012]对多帧Raw图像进行预处理；
[0013]将多帧Raw图像中的每帧Raw图像进行K次金字塔下采样，得到K+1层不同尺寸的金字塔图像；
[0014]对每帧Raw图像得到的1～K层金字塔图像划分块；
[0015]针对参考帧的每个块，在当前待对齐帧的最粗层金字塔图像的预设范围内搜索，以找到匹配的位置，并将搜索结果依次传递到下一层金字塔图像，直到在最细层金字塔图像中找到最终的位置信息为止；
[0016]根据参考帧和每个待对齐帧，按照下式计算参考帧中每个块在对齐时的距离测量值D
p
(u,v)：
[0017]其中，T(x,y)为参考帧中坐标为(x,y)的一个块，I为待对齐帧的搜索区域，p为用
于对齐的范数的幂次，n为块的大小，(u0,v0)为从金字塔的最粗层继承的初始对齐位置；
[0018]根据参考帧中每个块在对齐时的距离测量值D
p
(u,v)，得到所有的待对齐帧与参考帧中对齐的块的位置信息。将欠采样带来的问题放到后续的对齐步骤，解决起来更加容易，而且还能够有限避免或减小边缘错位、边缘重影等问题。
[0019]在一个具体的实施方式中，按照如下式计算得到的距离测量值最小化后的偏移量D
p
(u,v)，包括：
[0020]当p＝2时，利用盒滤波和卷积计算D2如下：
[0021][0022]其中，第一项表示T元素的平方和；第二项box(I
°
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种Raw域图像的降噪方法，其特征在于，包括：接收输入的多帧Raw图像，所述多帧Raw图像为相同曝光下抓取的多帧Bayer原始域Raw图像；从所述多帧Raw图像中，挑选一帧Raw图像作为参考帧，其他的帧Raw图像作为待对齐帧；采用基于快速傅里叶变换的对齐算法，对所述多帧Raw图像进行多帧对齐处理，得到所有的所述待对齐帧与所述参考帧中对齐的块的位置信息；采用基于卡尔曼滤波的融合方法，对所述多帧Raw图像进行多帧融合处理，得到降噪后的输出图像。2.如权利要求1所述的降噪方法，其特征在于，在所述接收输入的多帧Raw图像之前，还包括：根据拍摄场景，确认相同曝光下需要抓取Bayer原始域Raw图像的帧数。3.如权利要求2所述的降噪方法，其特征在于，所述根据拍摄场景，确认相同曝光下需要抓取Bayer原始域Raw图像的帧数，包括：预先划分不同的BV段；预先设置不同BV段的欠曝区灰度阈值、欠曝区占比阈值、过曝区灰度阈值和过曝区占比阈值；接收检测得到的拍摄场景的环境亮度BV值，并判断所述环境亮度BV值所属的BV段；根据所述环境亮度BV值所属BV段的欠曝区灰度阈值和过曝区灰度阈值，计算所述环境亮度BV值分别在R、G、B三个通道中的欠曝区占比和过曝区占比，并筛选出R、G、B三个通道中的最大欠曝区占比值和最大过曝区占比值；根据所述环境亮度BV值所属BV段的欠曝区占比阈值和过曝光占比阈值、以及所述最大欠曝区占比值和最大过曝区占比值，确定相同曝光下需要抓取Bayer原始域Raw图像的帧数。4.如权利要求1所述的降噪方法，其特征在于，所述从所述多帧Raw图像中，挑选一帧Raw图像作为参考帧，包括：从所述多帧Raw图像中，挑选出锐度最大的帧Raw图像作为所述参考帧。5.如权利要求4所述的降噪方法，其特征在于，所述从所述多帧Raw图像中，挑选一帧Raw图像作为参考帧还包括：从所述多帧Raw图像中的前3帧中挑选出锐度最大的帧Raw图像，作为所述参考帧。6.如权利要求1所述的降噪方法，其特征在于，所述采用基于快速傅里叶变换的对齐算法，对所述多帧Raw图像进行多帧对齐处理，得到所有的所述待对齐帧与所述参考帧中对齐的块的位置信息，包括：对所述多帧Raw图像进行预处理；将所述多帧Raw图像中的每帧Raw图像进行K次金字塔下采样，得到K+1层不同尺寸的金字塔图像；对每帧Raw图像得到的1～K层金字塔图像划分块；针对参考帧的每个块，在当前待对齐帧的最粗层金字塔图像的预设范围内搜索，以找到匹配的位置，并将搜索结果依次传递到下一层金字塔图像，直到在最细层金字塔图像中
找到最终的位置信息为止；根据参考帧和每个待对齐帧，按照下式计算参考帧中每个块在对齐时的距离测量值D
...

【专利技术属性】
技术研发人员：王琳琳，
申请(专利权)人：展讯通信上海有限公司，
类型：发明
国别省市：