一种基于曲线学习和Transformer的图像增强方法技术

本发明专利技术公开了一种基于曲线学习和Transformer的图像增强方法。本发明专利技术以基于学习的方式提取低照度图像的特征，并自动生成像素变换曲线，实现图像亮度的增强和局部对比度的拉伸。将曲线变换抽象成像素的对应变换，以8位数字图像为例，它的像素范围为0~255的整数，像素的对应则可以表示为256维的向量。为了提高图像的自然性，在损失函数中加入对改向量的一维拉普拉斯正则项，保证变换曲线的平滑性和单调性，使得变换后的像素大小关系仍保持不变。此外，为了减少增强图像中的噪声，引入BM3D去噪算法，根据可以一定程度上反应噪声识别的变换曲线的斜率，对不同的区域施以不同的程度的去噪，更好地去除增强图像中的噪声。更好地去除增强图像中的噪声。更好地去除增强图像中的噪声。

【技术实现步骤摘要】
一种基于曲线学习和Transformer的图像增强方法


[0001]本专利技术涉及图像处理领域，具体涉及一种基于曲线学习和Transformer的图像增强方法。

技术介绍

[0002]在如今高度数字化的时代，数字图像已经成为一种重要的信息载体，无论在日常生活或者是生产环境中都起着重要的作用。而图像在获取的过程，质量往往是无法得到保证的，比如光照不足，光照不均匀，或者恶劣的天气下，图像的亮度和对比度都会严重下降。图像在传输和存储过程中，也会出现精度下降，信息丢失等，严重影响了信息的还原和图像处理算法的性能。而图像增强就是要根据某种需求，对图像的信息进行还原和放大，提高图像的对比度，同时去除图像中的噪声。
[0003]图像增强算法主要包含四大类，分为基于直方图均衡的方法、基于Retinex理论的方法、基于物理模型的方法和基于深度学习的方法。其中基于直方图均衡类的算法是比较经典的方法，利用直方图的统计特性，通过改变像素的分布实现对图像对比度拉伸和动态范围扩大。基于Retinex理论的方法，则是在Retinex的理论模型上，通过对物体颜色产生影响的不同的因素的估计，从而还原出质量更高的图像。而基于物理模型的方法是建立在特定的物理观测之上，比如低照度图像的反转图像与有雾的图像具有相似的特点，进而利用去雾算法实现图像增强。从2017年以后，随着深度学习的快速发展，越来越多的基于深度学习的图像增强方法开始出现，并且已经成为目前研究的热点。
[0004]合适的曲线调整，可以有效地增强图像的亮度局部对比度，曲线调色与伽马变换类似，但更加灵活，可以根据不同的需求构造不同的曲线。曲线变换为对应像素值的对应映射关系，不改变像素大大小次序，符合低照图像增强的要求。曲线变换可以很好地控制增强图像的像素相对大小，但是手工构造一个适用于不同图像的曲线变换非常困难。

技术实现思路

[0005]为了解决上述
技术介绍
提到的技术问题，本专利技术提出了一种基于曲线学习和Transformer的图像增强方法。
[0006]为了实现上述技术目的，本专利技术的技术方案为：
[0007]一种基于曲线学习和Transformer的图像增强方法，包括以下步骤：
[0008]步骤1，将低照度图像增强具化为低照度图像到正常光照图像的对应像素映射；
[0009]步骤2，构建Vision Transformer的网络模型，提取低照度图像中局部特征以及全局的关系；
[0010]步骤3，获取低照度图像中像素值等于指定值的所有坐标，然后取出在对应正常光照图像这些坐标上所有像素，并以这些像素中出现频率最高的值作为低照度图像中指定像素增强后所对应的参考像素值；
[0011]步骤4，使用L1
‑
Loss作为主损失函数，并添加对输出向量，即像素对应关系的二阶
梯度正则；在LOLdataset数据集上训练深度网络模型直至收敛；步骤5，将需要增强的低照度图像输入训练好的网络模型中，输出像素变换曲线，使用该曲线对输入的低照度图像进行变换，得到增强图像；
[0012]步骤6，结合BM3D去噪算法，以步骤5中模型输出的像素变换曲线的梯度和像素值为参考，对步骤5中的增强图像各区域进行不同程度的去噪处理。
[0013]优选地，所述步骤1中，将低照图像和正常光照图像的映射关系简化为像素的映射关系，并用一个包含256个元素的一维向量表示，如下式所示：
[0014]Output(x，y)＝V[Input(x，y)]，
[0015]V＝[m0，m1，m2，
…
，m
255
]T
[0016]其中，Output(x，y)表示增强后的图像在(x，y)坐标处的像素值，Input(x，y)表示输入图像在(x，y)处的像素值；V为一维向量，其元素
[0017]m0，m1，m2，
…
，m
255
依次表示低照度图像中像素0，1，2，
…
，255对应在正常光照图像中的像素值。
[0018]优选地，所述步骤2中具体步骤如下：
[0019](21)将低照度图像切分为不同的图像块，并将每个图像块展平为一维向量，每个向量加上位置编码，并拼接上一个可训练的像素映射向量；
[0020](22)输入Vision Transformer主体框架中，利用多头注意力机制学习低照度图像的特征与不同图像块之间的关系；最后提取出像素映射向量，作为网络的输出结果。
[0021]优选地，所述步骤3中具体步骤如下：
[0022](31)建立一个256*256大小的矩阵A，其中行坐标表示低照度图像中像素值，列坐标表示其所对应的正常光照图像中像素，元素值表示行坐标的像素值对应到列坐标像素值的个数，如下式所示：
[0023][0024]其中P(x＝i)表示低照度图像中像素值为i的元素的坐标，V(
·
)表示正常光照图像在坐标“·”处的像素值，C(v＝j)表示像素值等于j的数量；
[0025](32)建立一个256个元素的一维向量M，取矩阵A每行值最大的列坐标作为M的元素值，M作为模型训练的参考值。
[0026]优选地，所述步骤4中具体步骤如下：
[0027](41)用表示深度网络模型的输出，即像素的映射关系，M表示模型训练的参考值，计算两个向量的L1
‑
Loss作为主损失函数项，并添加对的拉普拉斯正则，如下式所示：
[0028][0029][0030]其中和M为一维向量，表示所提出网络模型输出的像素变换曲线；
[0031]M
i
分别表示和M的第i元素，为的前一个元素和后一个元素；
[0032](42)在公开数据集LOLDataset上训练深度网络，对损失函数进行反向传播，使得网络逐渐收敛。
[0033]优选地，所述步骤5中，具体步骤如下：
[0034](51)将需要增强的低照度图像输入训练好的网络模型中，模型输出像素变换曲线
[0035](52)使用模型输出的曲线对低照度图像进行曲线变换，如下式所示：
[0036][0037]其中L(x，y)表示输入的低照度图像L在坐标(x，y)处的像素值，表示增强后的图像在(x，y)处的像素值。
[0038]优选地，所述步骤6中，具体步骤如下：
[0039](61)对增强图像使用BM3D去噪算法，对图像进行全局的去噪，得到去噪图像
[0040](62)根据变换曲线的斜率确定一个权重系数W，W与曲线的斜率正相关，与像素值的大小负相关；
[0041](63)使用权重系数W将增强图像和去噪图像融合，过程表示为：
[0042][0043]式中，I即为最终的输出结果。
[0044]采用上述技术方案带来的有益效果：
[0045]本专利技术公开了一种基于曲线学习和Transformer的图像增强方法，将低照度图像的增强问题本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于曲线学习和Transformer的图像增强方法，其特征在于，包括以下步骤：步骤1，将低照度图像增强具化为低照度图像到正常光照图像的对应像素映射；步骤2，构建Vision Transformer的网络模型，提取低照度图像中局部特征以及全局的关系；步骤3，获取低照度图像中像素值等于指定值的所有坐标，然后取出在对应正常光照图像这些坐标上所有像素，并以这些像素中出现频率最高的值作为低照度图像中指定像素增强后所对应的参考像素值；步骤4，使用L1
‑
Loss作为主损失函数，并添加对输出向量，即像素对应关系的二阶梯度正则；在LOLdataset数据集上训练深度网络模型直至收敛；步骤5，将需要增强的低照度图像输入训练好的网络模型中，输出像素变换曲线，使用该曲线对输入的低照度图像进行变换，得到增强图像；步骤6，结合BM3D去噪算法，以步骤5中模型输出的像素变换曲线的梯度和像素值为参考，对步骤5中的增强图像各区域进行不同程度的去噪处理。2.根据权利要求1所述一种基于曲线学习和Transformer的图像增强方法，其特征在于，所述步骤1中，将低照图像和正常光照图像的映射关系简化为像素的映射关系，并用一个包含256个元素的一维向量表示，如下式所不：Output(x，y)＝V[Input(x，y)]，V＝[m0，m1，m2，
…
，m
255
]
T
其中，Output(x，y)表示增强后的图像在(x，y)坐标处的像素值，Input(x，y)表示输入图像在(x，y)处的像素值；V为一维向量，其元素m0，m1，m2，
…
，m
255
依次表示低照度图像中像素0，1，2，
…
，255对应在正常光照图像中的像素值。3.根据权利要求1所述一种基于曲线学习和Transformer的图像增强方法，其特征在于，所述步骤2中具体步骤如下：(21)将低照度图像切分为不同的图像块，并将每个图像块展平为一维向量，每个向量加上位置编码，并拼接上一个可训练的像素映射向量；(22)输入Vision Transformer主体框架中，利用多头注意力机制学习低照度图像的特征与不同图像块之间的...

【专利技术属性】
技术研发人员：李春雨，郑钰辉，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：