【技术实现步骤摘要】
本专利技术属于低光照图像增强，具体涉及基于曲线小波注意力和傅里叶进行低光照图像增强方法。
技术介绍
1、低光图像通常是由于受拍摄环境和设备限制的影响，在较差的环境下拍摄的图像通常会出现亮度低，对比度低，颜色失真等各种缺点。低光图像增强旨在提高光照不足场景下捕获数据的视觉感知质量已获取更多信息，这对许多下游应用非常有帮助，例如，目标检测，语义分割，自动驾驶等。
2、低光照图像增强方法可以分为基于传统的方法和基于深度学习的方法两种。传统低光照图像增强方法有直方图均衡化方法和基于retinex理论的方法。传统的he方法和retinex方法虽然取得了不错的增强效果，但是他们主要是对图像的对比度的增强，而对于图像的颜色和纹理细节方面的提升有所欠缺。基于深度学习的低光照图像增强方法，lore等提出llnet通过堆叠稀疏去噪自编码器实现对低光图像增强的增亮和去噪。在retinex理论支持下，输入的低光照图像分解为反射图分量和光照图分量，通过处理光照图分量来增强图像，如retinexnet。enlightengan首先使用生成对抗网络作为主要框架，使用不配对的图像进行训练。xu等提出的snrnet利用信噪比动态确定该像素贡献，然后根据贡献值大小动态选择全局或者局部信息等。但是这些方法对于图像的纹理细节的增强和颜色一致性的恢复有所欠缺，可能出现噪声，伪影，色彩不一致等情况。
3、频域中进行图像处理也是图像增强领域中重要方法之一。一些研究方法探索了低光照图像增强中的傅里叶，小波变换频域信息。在傅里叶空间中，主要的亮度信息集中
技术实现思路
1、本专利技术的目的是提供基于曲线小波注意力和傅里叶进行低光照图像增强方法，解决了增强低光照图像增强的纹理细节信息和颜色一致性恢复效果差的问题。
2、本专利技术所采用的技术方案是，基于曲线小波注意力和傅里叶进行低光照图像增强方法，具体按照以下步骤实施：
3、步骤1、使用公共基准含有配对正常光照图像和低光照图像构建训练集；
4、步骤2、构建低光照图像增强模型，并将训练集输入低光照图像增强模型进行训练，得到细节增强图像；
5、步骤3、基于频域损失、空间域损失和感知损失构建细节增强图像与正常光照图像的损失函数，根据损失函优化低光照图像增强模型；
6、步骤4、根据优化低光照图像增强模型对低光照图像增强。
7、本专利技术的特点还在于：
8、低光照图像增强模型包括振幅光照估计模块、细节增强注意力模块、曲线小波注意力傅里叶模块、纹理细节增强模块。
9、步骤2具体过程为：
10、步骤2.1、将训练集中的低光照图像输入到振幅光照估计模块，得到亮度改善后的增强图像
11、步骤2.2、将亮度改善后的增强图像输入到细节增强注意力模块得到局部空间细节特征；
12、步骤2.3、将亮度改善后的图像输入到曲线小波注意力傅里叶模块用于提取图像的全局信息；
13、步骤2.4、通过亮度改善后的图像计算snr图s；将亮度改善后的图像输入纹理细节增强模块进行全局信息和局部空间信息恢复图像的纹理细节特征，得到细节增强图像xout2。
14、步骤2.1具体过程为：
15、步骤2.1.1、通过六个傅里叶处理块组成，两个傅里叶处理块之间使用跳跃连接构成振幅光照估计模块，将训练集中的低光照图像输入到振幅光照估计模块，将输入的低光照图像从空间域特征通过傅里叶变换f转换到频域空间x，得到频域特征矩阵，傅里叶变换公式为：
16、
17、其中，并且f-1表示傅里叶的逆变换,h、w表示输入图像x的高和宽，由于图像或特征图具有多个通道，对于低光照图像，计算每个通道的傅里叶变换以获得相应的幅度和相位信息得到振幅图a和相位图p；
18、步骤2.1.2、从频域特征矩阵中分解得到振幅图a和相位图p，对振幅图a和相位图p各自进行卷积运算，并分别使用两个1×1卷积层和两个leakyrelu激活函数提取特征，再使用sigmoid激活函数将幅度变换图限制在(0，1)范围内，得到幅度变换图m；
19、步骤2.1.3、将xin和xout1分别表示幅度光照估计模块的输入和输出；xin和xout1在傅里叶空间中分别表示为xin、xout1，使含有配对的低光照图像的幅度分量ain＝a(f(xin))去除以幅度变换图m得到改善后的振幅aout＝ain/(m+ε)，其中ε＝1.0×10-8，使用傅里叶的逆变换重新组合振幅和相位分量的结果f-(aout,p(xin))，得到亮度改善的图像
20、步骤2.1.1中计算每个通道的傅里叶变换以获得相应的幅度和相位信息的公式为：
21、在傅里叶空间x中每一个复数分量x(u,v)，用幅度分量a(x(u,v))，和相位分量p(x(u,v))表示，表达式如下：
22、a(x(u,v))＝[r2(x(u,v))+i2(x(u,v))]1/2
23、
24、其中r(x)和i(x)分别表示f(x)的实部和虚部。
25、细节增强注意力模块包括两个深度卷积、一个1×1卷积，在两个深度卷积层之间添加不同的激活函数，将深度卷积与1×1卷积提取的特征使用特征拼接操作融合特征f1。
26、融合特征f1添加基于跨空间学习的高效多尺度注意力模块。
27、步骤2.3具体过程为：
28、曲线小波注意力傅里叶变换模块由两个并行分支组成，分别为傅里叶频域分支、曲线小波注意力分支；将亮度改善后的增强图像先经过3×3卷积用于提取浅层特征得到fin(c,h,w)，分别输入到这两个分支；
29、傅里叶频域分支堆叠五个傅里叶频域块去提取全局特征，fin(c,h,w)输入傅里叶频域分支后得到频域全局特征；
30、将输入特征fin(c,h,w)输入曲线小波注意力分支后沿着通道数平均划分为两部分fidentity(c/2,h,w)，ft(c/2,h,w)；fidentity(c/2,h,w)用于保留正常域特征，ft(c/2,h,w)用于进行离散小波变换得到小波域特征fw(2c,h/2,w/2)，经过空间注意力和曲线注意力计算得到加权小波域特征(2c,h/2,w/2)，对加权小波域特征进行逆离散小波变换得到将fidentity(c/2,h,w)与进行相加传递给卷积层与激活层，将经过卷积块的原始特征图与其相加，得到具有小波域的输出特征；本文档来自技高网...
【技术保护点】
1.基于曲线小波注意力和傅里叶进行低光照图像增强方法，其特征在于，具体按照以下步骤实施：
2.根据权利要求1所述基于曲线小波注意力和傅里叶进行低光照图像增强方法，其特征在于，所述低光照图像增强模型包括振幅光照估计模块、细节增强注意力模块、曲线小波注意力傅里叶模块、纹理细节增强模块。
3.根据权利要求2所述基于曲线小波注意力和傅里叶进行低光照图像增强方法，其特征在于，步骤2具体过程为：
4.根据权利要求3所述基于曲线小波注意力和傅里叶进行低光照图像增强方法，其特征在于，步骤2.1具体过程为：
5.根据权利要求4所述基于曲线小波注意力和傅里叶进行低光照图像增强方法，其特征在于，步骤2.1.1中所述计算每个通道的傅里叶变换以获得相应的幅度和相位信息的公式为：
6.根据权利要求3所述基于曲线小波注意力和傅里叶进行低光照图像增强方法，其特征在于，所述细节增强注意力模块包括两个深度卷积、一个1×1卷积，在两个深度卷积层之间添加不同的激活函数，将深度卷积与1×1卷积提取的特征使用特征拼接操作融合特征f1。
7.根据权利要求
8.根据权利要求3所述基于曲线小波注意力和傅里叶进行低光照图像增强方法，其特征在于，步骤2.3具体过程为：
9.根据权利要求3所述基于曲线小波注意力和傅里叶进行低光照图像增强方法，其特征在于，步骤2.4具体过程为：
10.根据权利要求1所述基于曲线小波注意力和傅里叶进行低光照图像增强方法，其特征在于，步骤3具体过程为：
...【技术特征摘要】
1.基于曲线小波注意力和傅里叶进行低光照图像增强方法，其特征在于，具体按照以下步骤实施：
2.根据权利要求1所述基于曲线小波注意力和傅里叶进行低光照图像增强方法，其特征在于，所述低光照图像增强模型包括振幅光照估计模块、细节增强注意力模块、曲线小波注意力傅里叶模块、纹理细节增强模块。
3.根据权利要求2所述基于曲线小波注意力和傅里叶进行低光照图像增强方法，其特征在于，步骤2具体过程为：
4.根据权利要求3所述基于曲线小波注意力和傅里叶进行低光照图像增强方法，其特征在于，步骤2.1具体过程为：
5.根据权利要求4所述基于曲线小波注意力和傅里叶进行低光照图像增强方法，其特征在于，步骤2.1.1中所述计算每个通道的傅里叶变换以获得相应的幅度和相位信息的公式为：
6.根据权利要求3...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。