【技术实现步骤摘要】
本专利技术属于图像处理，具体涉及一种基于全局注意力与retinex理论的图像增强方法。
技术介绍
1、目前在计算机视觉领域使用的数据集都是内容清晰的高质量图像，而在自然条件下拍摄的图像会受到环境影响，大多图像都会出现部分曝光、光照不均和整体偏暗等现象。这会导致图像的清晰度和质量下降，影响计算机视觉研究过程中的性能。因此，对这些图像进行增强，不仅能够有效的改善图像的质量和视觉效果，还能够提升方法的性能，例如目标检测、跟踪、语义分割和识别等任务。
2、传统retinex方法，将图像通过人工方式分解为光照分量和反射分量，这种分解方式较为复杂且不能适用于多种场景。而深度学习主要是数据驱动进行特征分解，根据大量样本的学习能够得到深层的特征表示，其对数据集的表达更高效和准确，所提取的抽象特征鲁棒性更强，泛化能力更好。因此，一种新颖的想法就是将retinex理论与深度学习的优势相结合。低光图像退化问题可以以retinex方式分解转化为两个子问题，即反射分量和照度分量的调整过程。这样可以充分发挥二者的优势，更好和更容易的学习将低光图像映射到正常图像。
3、retinexnet方法就是以retinex理论为基础，用卷积神经网络分解低光图像，使用参考图像调整并消除噪声，生成质量更好的照度分量和反射分量。lightennet方法使用卷积神经网络学习低光图像到照度图像的映射并除去照度图像，将反射图像作为增强的结果，这样做会导致一些图像不自然。kind++方法设计了一种基于多尺度光照注意模块的反射恢复网络，更有利于处理分解后反射图
4、随着深度学习的不断发展，使得attention机制在计算机视觉中流行起来，并衍生出了多种多样的attention结构。最近几年，一些低光增强方法也引入了attention机制，获得不小的成绩。
5、针对以上问题，本专利技术提出一种基于全局注意力与retinex理论的图像增强方法。首次提出构造全局注意力模块与retinex理论相融合的创新方法，以学习低光图像与真实图像特征之间的多样性和相关性，并且嵌入到增强网络模型中，丰富暗区域的细节信息并解决retinex方法出现的颜色失真和光晕问题，提高图像处理的效果。
技术实现思路
1、本专利技术提供了一种基于全局注意力与retinex理论的图像增强方法，构造全局注意力模块以学习低光图像与真实图像特征之间的多样性和相关性，并且嵌入到增强网络模型中，丰富暗区域的细节信息，解决低光环境下图像颜色失真和光晕现象。
2、为了实现上述目的，本专利技术通过以下技术方案来解决上述技术问题：
3、一种基于全局注意力与retinex理论的图像增强方法，包含：
4、图像分解模块，将图像i输入到图像分解模块，分解为反射图像r和照度图像l；
5、照度图像调整模块，将照度图像l输入到照度图像调整模块进行亮度调整处理，获得照度图像
6、反射图像恢复模块，将反射图像r输入到反射图像恢复模块进行反射恢复处理，获得反射图像
7、将调整后的照度图像和反射图像相乘得到增强图像re。
8、所述图像分解模块中，图像分级将一个3*3*32的卷积分解为两个分支，一个分支含有5层编解码u-net结构，用于结算反射分量图像，另一个分支使用3层卷积和sigmoid层，用于估计照度分量。所述u-net结构中包含max pooling方法、反卷积上采样及下采样，下采样前使用级联方式。
9、所述图像分解中的损失函数为：
10、
11、函数为：
12、
13、函数为：
14、函数为：
15、函数为:
16、input代表输入图像，refl代表反射图像，illu代表照度图像，代表对应像素相乘，和分别为低光和高光照度分量的梯度。
17、所述照度图像调整模块中亮度调整时设置一个四层卷积和一个sigmoid激活函数的轻量级的模型。所述sigmoid函数的像素值限制在0-1之间，并以非线性的方式扩大较低像素值的动态范围。
18、所述轻量级模型中输入部分主要有两个分支，第一个分支是输入低光照度图像，第二个分支是基于ratio值张量。
19、所述ratio值可以自适应调节，也可以在模型的训练过程中，通过计算高光与低光照度图像像素之间比值确定，其公式为：
20、
21、调整网络的损失函数为：
22、
23、ih和iadjust代表高光和调整后的照度图像，符号计算水平和垂直方向的梯度，使用均方差计算照度调整网络的损失函数。
24、所述反射图像恢复模块主体部分设置10层编解码的u-net结构，每经过两次卷积后计算一次全局注意力机制，使得特征图通过全局注意力机制后会放大全局交互表示，提高模型的恢复效果。
25、所述全局注意力机制包括两个部分，通道注意力和空间注意力，其中两部分的计算公式如下：
26、
27、其中表示像素之间的乘法，f1、f2和f3分别表示为输入的特征图、经过通道注意力的特征图和输出的特征图，mc和ms为通道注意力图和空间注意力图。对于给定任何大小的特征图依次映射到三维的通道注意力和二维空间注意力
28、所述特征图进行高和宽的合并成二维特征向量再经过含有2个隐藏层的多层感知器后，将二维特征向量分离成三维的特征图。最后通过relu函数得到通道特征图
29、其计算公式为：
30、
31、其中为relu激活函数，separate和merge分别为特征向量的分离与合并操作。
32、所述特征图通过2个卷积模块，第一个卷积模块中包括卷积层、批标准化和relu激活函数，而第二个卷积模块中只包含卷积层和批标准化，再通过sigmoid激活函数得到空间注意力特征图
33、其中mc的计算公式为：
34、ms(f2)＝σ(conv2(conv1(f2)))
35、其中σ为sigmoid激活函数，conv1和conv2都为滤波器大小为8×8的卷积运算。反射恢复网络中的损失函数可表示为：
36、
37、其中为恢复的反射图像，rh为高光的反射图像，ssim为图像的结构相似度计算，为均方差计算。
38、基于上述技术方案的实施，本专利技术能够获得如下的技术效果：
39、1、本专利技术提供的一种基于全局注意力与retinex理论的图像增强方法，通过构造一种新颖的全局注意力模块，解决通道权重特征图在同一个通道的不同位置权重重用的问题，通过变换方法和全连接层来调整特征图3个维度的权重，加强全局空间和通道之间的关联性，更有助于促进推理学习。
40、2、本专利技术提供的一种本文档来自技高网...
【技术保护点】
1.一种基于全局注意力与Retinex理论的图像增强方法，包含：
2.根据权利要求1所述图像增强方法，其特征在于，所述图像分解模块中，图像分级将一个3*3*32的卷积分解为两个分支，一个分支含有5层编解码U-net结构，用于结算反射分量图像，另一个分支使用3层卷积和Sigmoid层，用于估计照度分量。所述U-net结构中包含Max pooling方法、反卷积上采样及下采样，下采样前使用级联方式。
3.根据权利要求2所述图像增强方法，其特征在于，所述图像分解中的损失函数为：
4.根据权利要求1所述图像增强方法，其特征在于，所述照度图像调整模块中亮度调整时设置一个四层卷积和一个Sigmoid激活函数的轻量级的模型。所述Sigmoid函数的像素值限制在0-1之间，并以非线性的方式扩大较低像素值的动态范围。
5.根据权利要求4所述图像增强方法，其特征在于，所述轻量级模型中输入部分主要有两个分支，第一个分支是输入低光照度图像，第二个分支是基于Ratio值张量。
6.根据权利要求5所述图像增强方法，其特征在于，所述Ratio值可以自
7.根据权利要求1所述图像增强方法，其特征在于，所述反射图像恢复模块主体部分设置10层编解码的U-net结构，每经过两次卷积后计算一次全局注意力机制，使得特征图通过全局注意力机制后会放大全局交互表示，提高模型的恢复效果。
8.根据权利要求7所述图像增强方法，其特征在于，所述全局注意力机制包括两个部分，通道注意力和空间注意力，其中两部分的计算公式如下：
9.根据权利要求8所述图像增强方法，其特征在于，所述特征图进行高和宽的合并成二维特征向量再经过含有2个隐藏层的多层感知器后，将二维特征向量分离成三维的特征图。最后通过Relu函数得到通道特征图
10.根据权利要求9所述图像增强方法，其特征在于，所述特征图通过2个卷积模块，第一个卷积模块中包括卷积层、批标准化和Relu激活函数，而第二个卷积模块中只包含卷积层和批标准化。再通过Sigmoid激活函数得到空间注意力特征图
...【技术特征摘要】
1.一种基于全局注意力与retinex理论的图像增强方法，包含：
2.根据权利要求1所述图像增强方法，其特征在于，所述图像分解模块中，图像分级将一个3*3*32的卷积分解为两个分支，一个分支含有5层编解码u-net结构，用于结算反射分量图像，另一个分支使用3层卷积和sigmoid层，用于估计照度分量。所述u-net结构中包含max pooling方法、反卷积上采样及下采样，下采样前使用级联方式。
3.根据权利要求2所述图像增强方法，其特征在于，所述图像分解中的损失函数为：
4.根据权利要求1所述图像增强方法，其特征在于，所述照度图像调整模块中亮度调整时设置一个四层卷积和一个sigmoid激活函数的轻量级的模型。所述sigmoid函数的像素值限制在0-1之间，并以非线性的方式扩大较低像素值的动态范围。
5.根据权利要求4所述图像增强方法，其特征在于，所述轻量级模型中输入部分主要有两个分支，第一个分支是输入低光照度图像，第二个分支是基于ratio值张量。
6.根据权利要求5所述图像增强...
【专利技术属性】
技术研发人员：王永年，王掌权，富帅，王广，刘洁瑛，马利斌，卢星月，李荣光，
申请(专利权)人：内蒙航天动力机械测试所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。