【技术实现步骤摘要】
本专利技术涉及计算机图像处理的，特别是指一种基于混合特征补偿及稀疏注意力的深度学习模型的暗光图像增强方法。
技术介绍
1、暗光图像增强是图像处理领域中的一个重要研究方向，它旨在改善在低照明条件下拍摄的图像质量。在夜间或光线不足的环境中拍摄的图像通常会受到噪声、低对比度和颜色失真的影响，这些问题严重影响了图像的可用性和视觉效果。暗光图像增强的核心作用是通过技术手段恢复和提升这些在不利光照条件下捕获的图像质量，使其质感更接近于在理想光照条件下所拍摄的图像。增强处理能显著提高图像的可视性和信息丰富度，这对于夜间监控、医疗成像、个人摄影等多种应用场景至关重要。有效的暗光图像增强不仅优化了视觉体验，还能提升后续如物体识别和场景理解等图像分析和处理任务的准确性与效率。这种技术的发展，使得即使在极端低光条件下，也能够获得高质量的图像输出，大幅拓展了现代成像技术的应用边界。
2、在深度学习框架下，暗光图像增强技术主要依赖于强大的卷积神经网络（cnn）来自动学习和模拟复杂的光照调整过程。这些网络通过大量暗光与正常光照条件下的图像对进行训练，学习如何从暗光图像中恢复细节和颜色。例如，自编码器被广泛用于这一任务，它通过编码器压缩图像内容，然后通过解码器重建增强后的图像，有效地恢复图像细节并减少噪声。生成对抗网络（gan）也在暗光图像增强中扮演了重要角色。在此框架中，生成器试图产生越来越真实的增强图像，而鉴别器则努力区分生成的图像与真实的明亮图像之间的差异。这种对抗过程不断改进生成器的性能，最终能够生成高质量图像。尽管暗光图像增强技术取得了
3、传统的cnn由于其固有的局部感受野，往往难以处理图像中的全局信息和长距离依赖（图像中相隔较远的区域之间可能存在重要的语义关联），这限制了它们在处理严重光照不足情况下的效果；
4、尽管transformer在模拟全局信息方面表现出色，但它们在恢复图像细节（如，边缘、纹理等方面）时表现并不理想。这主要是因为transformer中的自注意力机制未能有效模拟cnn在处理局部不变性方面的优势，无法有效捕捉局部特征和细节；
5、transformer中的自注意力机制虽然能够处理图像的全局信息，但其计算模式是基于所有输入特征之间的相互作用。这意味着每个特征都会与其他所有特征进行比较，计算它们之间的相似性。这种密集的计算模式可能会放大那些相对较小的相似性权重，尤其是在特征之间实际相关性不大时。这样的放大可能导致在特征聚合过程中引入噪声，因为即使是不那么相关的特征也可能对最终的聚合结果产生影响，从而干扰图像中细节的准确恢复。此外，transformer的自注意力机制需要计算q和k之间的相似性，是一个密集的计算过程，计算复杂度高。
6、有鉴于此，本专利技术针对暗光图像增强技术存在的缺陷所导致的诸多缺失及不便而深入构思，且积极研究改良试做而开发出本专利技术。
技术实现思路
1、本专利技术的目的在于提供一种基于混合特征补偿及稀疏注意力的深度学习模型的暗光图像增强方法，能够有效改善低光照环境下的图像质量。
2、为了达成上述目的，本专利技术的解决方案是：
3、一种深度学习模型的暗光图像增强方法，使用深度学习算法增强图像数据，模型包括混合特征补偿机制、编码器、raw解码器及srgb解码器；
4、混合特征补偿机制包括特征提取模块及特征补偿模块，特征提取模块对输入的raw图像进行特征提取，特征补偿模块对输入的raw图像以及经过特征提取的raw图像进行特征补偿，通过集成多个子网络来提取和融合多尺度特征，并利用自注意力机制动态调整各特征表示的贡献，增强对图像细节及纹理特征的处理；
5、编码器在混合特征补偿机制的基础上，负责捕捉图像的关键特征信息和噪声信息并加以区分，为后续的图像去噪和颜色渲染提供基础；
6、raw解码器负责将编码器提取的特征进行处理，实现图像去噪，并利用raw图像的噪声可处理特性，来去除图像中的噪声，保留图像的重要细节和纹理；
7、srgb解码器包括反馈特征融合模块和解码模块，反馈特征融合模块将raw解码器的输出与编码器的输出中的特征进行融合；解码模块利用稀疏自注意力机制，能够保留最有用的特征信息并减少噪声或无关信息的干扰，使网络更加聚焦于重要信息，解码模块还通过门控前馈机制，将经过编码器和raw解码器的去噪及增强后的特征进行色彩校正和色彩空间转换处理，将raw域图像映射到srgb域，以生成色彩准确且高质量的增强图像。
8、进一步，假设特征提取模块的输入为，形状为[c1,h,w]，c1为输入特征的通道数，h和w分别为输入特征图的高和宽尺寸，首先，输入特征会经过卷积模块和池化模块，得到特征，以提取空间特征和压缩特征，并对特征进行重塑操作，得到特征，方便后续处理，重塑后的特征形状为[c2]，
9、
10、
11、其中，表示卷积模块，表示池化模块，表示特征重塑操作；
12、随后，特征会依次经过全连接层1、非线性激活层和全连接层2，得到输出特征，输出特征形状变为[n]，
13、
14、其中，、表示全连接层，为非线性激活函数，表示特征补偿机制中的子网络个数。
15、进一步，所述特征补偿模块的输入有两个，一个为，该输入与特征提取模块的输入相同，形状为[c1,h,w]；另一个为特征提取模块的输出，形状为[n]，n为7，
16、首先，对于第一个输入特征，会依次经过卷积模块和非线性激活函数，得到特征，形状不变，
17、
18、其中，表示卷积层，为非线性激活函数；
19、随后，会分别输入到7个子网络中，得到7个输出、、、、、、；子网络1由1×1的卷积模块构成，子网络2由3×3的卷积模块构成，子网络3由5×5的卷积模块构成，子网络4由3×3的扩张卷积模块构成，子网络5由5×5的扩张卷积模块构成，子网络6由3×3的平均池化模块构成，子网络7由5×5的平均池化模块构成，
20、
21、
22、
23、
24、
25、
26、
27、其中，表示子网络1~7；
28、接着，对于第二个输入即特征提取模块的输出，会先分离其特征，得到7个权重，将7个权重与对应的7个子网络输出、、、、、、相乘，得到7个加权后的特征、、、、、、，将7个加权特征进行特征拼接后，依次经过卷积模块和非线性激活函数，得到特征补偿模块的输出，形状为[c1,h,w]，
29、
30、
31、
32、
33、
34、
35、
36、
37、
38、其中，表示特征分离，表示特征拼接处理，表示沿着通道维度对特征进行拼接，表示卷积模块，为非线性激活函数。
39、进一本文档来自技高网...
【技术保护点】
1.一种深度学习模型的暗光图像增强方法，使用深度学习算法增强图像数据，其特征在于：模型包括混合特征补偿机制、编码器、raw解码器及sRGB解码器；
2.如权利要求1所述的深度学习模型的暗光图像增强方法，其特征在于：假设特征提取模块的输入为，形状为[C1,H,W]，C1为输入特征的通道数，H和W分别为输入特征图的高和宽尺寸，首先，输入特征会经过卷积模块和池化模块，得到特征，以提取空间特征和压缩特征，并对特征进行重塑操作，得到特征，方便后续处理，重塑后的特征形状为[C2]，
3.如权利要求1或所述的深度学习模型的暗光图像增强方法，其特征在于：假设编码器的输入为，形状为[C,H,W]，编码器有2个输出，第一个输出为编码器的最终输出，第二个输出用于保存编码器内循环的中间特征；
4.如权利要求3或所述的深度学习模型的暗光图像增强方法，其特征在于：raw解码器的输入有2个，分别假设为、，raw解码器的两个输入对应编码器的两个输出，raw解码器的输出有2个，分别假设为、；
5.如权利要求4或所述的深度学习模型的暗光图像增强方法，其特征在于：sRG
6.如权利要求5或所述的深度学习模型的暗光图像增强方法，其特征在于：稀疏自注意力机制选择查询和键之间最大的k个相似性分数进行自注意力计算，保留最有用的信息并减少无关特征的干扰，从而使得特征聚合更加聚焦于重要的信息，假设稀疏自注意力机制的输入为，
7.如权利要求1或所述的深度学习模型的暗光图像增强方法，其特征在于：在模型训练期间，模型的输入是经随机翻转和归一化处理后的raw图像，模型的输出有2个，分别是raw解码器的第一个输出和sRGB解码器的输出，使用L1损失函数来进行raw域和sRGB域的监督，损失函数的计算公式如下所示，
8.如权利要求1或所述的深度学习模型的暗光图像增强方法，其特征在于：模型的训练周期为300epoch，batch size为8，初始学习率为0.0002，优化器为Adamw，betas为[0.9,0.999]，优化器调整策略为Cosine annealing。
...【技术特征摘要】
1.一种深度学习模型的暗光图像增强方法，使用深度学习算法增强图像数据，其特征在于：模型包括混合特征补偿机制、编码器、raw解码器及srgb解码器；
2.如权利要求1所述的深度学习模型的暗光图像增强方法，其特征在于：假设特征提取模块的输入为，形状为[c1,h,w]，c1为输入特征的通道数，h和w分别为输入特征图的高和宽尺寸，首先，输入特征会经过卷积模块和池化模块，得到特征，以提取空间特征和压缩特征，并对特征进行重塑操作，得到特征，方便后续处理，重塑后的特征形状为[c2]，
3.如权利要求1或所述的深度学习模型的暗光图像增强方法，其特征在于：假设编码器的输入为，形状为[c,h,w]，编码器有2个输出，第一个输出为编码器的最终输出，第二个输出用于保存编码器内循环的中间特征；
4.如权利要求3或所述的深度学习模型的暗光图像增强方法，其特征在于：raw解码器的输入有2个，分别假设为、，raw解码器的两个输入对应编码器的两个输出，raw解码器的输出有2个，分别假设为、；
5.如权利要求4或所述的深度学习模型的暗光图...
【专利技术属性】
技术研发人员：贾宝芝，陈昕，张帅，王汉超，何一凡，
申请(专利权)人：厦门瑞为信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。