【技术实现步骤摘要】
本专利技术属于图像处理，涉及一种基于多尺度特征并行融合的水下实时图像增强网络。
技术介绍
1、水下图像增强任务是利用计算机视觉技术，来提高在水下环境中拍摄图像的质量和可视化效果。由于水下环境对光线的散射、折射等物理现象，获取到的真实水下图像经常出现对比度低、色彩失真、模糊、噪声等问题。这些问题对图像的利用和进一步分析造成了一定的阻碍。水下图像增强通过图像处理技术来缓解这些问题，从而获得更加清晰、蕴含信息更加丰富的图像。
2、尽管水下图像增强在各个领域都有重要的应用，但仍然存在一些挑战限制了其的有效性和实际落地应用。通过考虑水下光照条件和水环境特征，建立物理模型并对图像进行处理是一项复杂的任务。不同的水域和不同深度的水下环境，导致图像质量差异显著，难以建立一个普适性较高的物理模型。水下光照的波动和不规则性条件，阻碍了算法对图像细节和纹理特征的精确恢复。水下图像经常会遇到多种复杂的环境噪声、色彩失真、伪影等问题，进一步地导致了图像信息的丢失。克服这些困难并保证获取到有价值的信息是一个艰巨的任务。尤其是在实时水下机器人导航的应用场景中，迫切需要快速有效地进行图像增强的解决方法。解决这些苛刻的问题是当前的关键挑战。
3、现有的水下图像增强方法主要分为三类：基于视觉先验的方法、基于物理的方法和数据驱动的方法。虽然这些技术在一定程度上提高了水下图像的质量，但仍然存在一定的局限性。基于视觉先验的方法使用颜色校正、直方图均衡化和小波变换等技术来提高图像的对比度和清晰度。然而，这样的方法在处理复杂的问题时依然存在一定问题，
技术实现思路
1、为解决上述技术问题，本专利技术的目的是提供一种基于多尺度特征并行融合的水下实时图像增强网络，能利用极少的参数量达到良好地满足实时性的需求，使恢复的图像色彩更加鲜艳、饱满。
2、本专利技术提供一种基于多尺度特征并行融合的水下实时图像增强网络，包括四个串行连接的多尺度特征提取模块，所述多尺度特征提取模块包括感受野增强模块、细节优化模块和cbam模块，感受野增强模块和细节优化模块的并行输出相加后通过cbam模块处理后作为多尺度特征提取模块的输出；图像经过3×3的卷积处理后输入到第一个多尺度特征提取模块，当前多尺度特征提取模块的输出与原图以及之前所有阶段的多尺度特征提取模块的输出进行通道维度上的堆叠作为下一个阶段的输入，使整个网络模型形成稠密连接；水下图像经过四个多尺度特征提取模块的特征提取后，分别输出到一个主任务头和一个辅助任务头，实现在不同尺度上的监督。
3、进一步的，其特征在于，所述感受野增强模块能够扩大卷积核的感受野，使网络能够从输入图像中捕获更多的上下文信息；
4、特征图输入到感受野增强模块后先通过一个步长为2的3×3卷积层，在减小特征图尺寸的同时增加通道数，使后续的卷积核能获取到更大空间范围的信息；然后通过简单的近邻插值进行上采样，恢复到原有尺寸，并采用1×1卷积层减小通道数后与此模块输入的特征图进行通道维度上的堆叠；最后再通过3×3卷积对特征细化、融合。
5、进一步的，所述细节优化模块使网络模型更好地获取局部信息，增强图像的细节特征；
6、特征图输入到细节优化模块后进行近邻上采样，使图像的高度和宽度都变为原来的2倍；接着通过1×1卷积层降低通道数，再通过步长为2的3×3卷积层，将特征图尺寸变化到原来大小；最后用3×3卷积层在改变通道数的同时，进一步细化微小的特征。
7、进一步的，主任务头负责相同尺寸的训练监督，辅助任务头在采用步长为2的3×3卷积核缩小特征图后，对缩小尺寸的图像进行训练监督。
8、进一步的，网络模型训练的损失函数lruenet为：
9、lruenet＝lhead,1+αlhead,2
10、lhead,n＝βlmse,n+lvgg,n+lssim,n
11、其中，α和β是超参数，设置为0.7和5；lhead,n表示第n个任务的损失；其中lmse,n是第n个任务的均方误差损失；lvgg,n是第n个任务的vgg损失；lssim,n是第n个任务的ssim损失；其中n＝1时表示主任务，n＝2时表示辅助任务。
12、进一步的，根据下式计算均方误差损失：
13、
14、其中，b为批次大小，c为通道数，h和w分别为图像的高度和宽度，outb,c,h,w为网络生成图像，labelb,c,h,w为真实图像。
15、进一步的，根据下式计算vgg损失：
16、
17、其中，m表示在vgg模型中提取的特征数量，vgg(outb)m和vgg(labelb)m分别表示网络生成图像和真实图像在第m个特征上的表示。
18、进一步的，根据下式计算ssim损失：
19、
20、其中，x和y分别表示两个输入图像，μx和μy分别为它们的平均值，σx和σy分别为它们的标准差，σxy为它们的协方差，c1为0.012和c2为0.032是两个常数。
21、本专利技术的一种基于多尺度特征并行融合的水下实时图像增强网络，至少具有以下有益效果：
22、1、本专利技术的网络通过在不同图像尺度上提取特征，并利用稠密连接来充分利用网络模型不同阶段提取的特征。其仅采用了最小0.21mb的参数量，就能够良好地满足水下图像增强的实时性需求，有助于降低计算成本和提高实时性。
23、2、本专利技术的网络能够在jetson orin nano开发板上达到最高52fps的推理速度。其实时性和硬件兼容性，使其在水下机器人应用中具有重要价值。
24、3、采用本专利技术的图像增强网络，可提高水下图像的质量，有助于提高任务执行效率、导航精度和决策制定等各个水下机器人系统模块的执行效率和精度。这种关联性使得本专利技术的图像增强技术，在水下机器人系统中具有关键作用，提高了系统整体性能，使其更适用于各种任务，包括水下搜索、勘察、科学研究和资源管理。<本文档来自技高网...
【技术保护点】
1.一种基于多尺度特征并行融合的水下实时图像增强网络，其特征在于，包括四个串行连接的多尺度特征提取模块，所述多尺度特征提取模块包括感受野增强模块、细节优化模块和CBAM模块，感受野增强模块和细节优化模块的并行输出相加后通过CBAM模块处理后作为多尺度特征提取模块的输出；
2.如权利要求1所述的基于多尺度特征并行融合的水下实时图像增强网络，其特征在于，所述感受野增强模块能够扩大卷积核的感受野，使网络能够从输入图像中捕获更多的上下文信息；
3.如权利要求1所述的基于多尺度特征并行融合的水下实时图像增强网络，其特征在于，所述细节优化模块使网络模型更好地获取局部信息，增强图像的细节特征；
4.如权利要求1所述的基于多尺度特征并行融合的水下实时图像增强网络，其特征在于，主任务头负责相同尺寸的训练监督，辅助任务头在采用步长为2的3×3卷积核缩小特征图后，对缩小尺寸的图像进行训练监督。
5.如权利要求1所述的基于多尺度特征并行融合的水下实时图像增强网络，其特征在于，网络模型训练的损失函数LRUENet为：
6.如权利要求5所述的基于多
7.如权利要求5所述的基于多尺度特征并行融合的水下实时图像增强网络，其特征在于，根据下式计算VGG损失：
8.如权利要求5所述的基于多尺度特征并行融合的水下实时图像增强网络，其特征在于，根据下式计算SSIM损失：
...【技术特征摘要】
1.一种基于多尺度特征并行融合的水下实时图像增强网络，其特征在于，包括四个串行连接的多尺度特征提取模块，所述多尺度特征提取模块包括感受野增强模块、细节优化模块和cbam模块，感受野增强模块和细节优化模块的并行输出相加后通过cbam模块处理后作为多尺度特征提取模块的输出；
2.如权利要求1所述的基于多尺度特征并行融合的水下实时图像增强网络，其特征在于，所述感受野增强模块能够扩大卷积核的感受野，使网络能够从输入图像中捕获更多的上下文信息；
3.如权利要求1所述的基于多尺度特征并行融合的水下实时图像增强网络，其特征在于，所述细节优化模块使网络模型更好地获取局部信息，增强图像的细节特征；
4.如权利要求1所述的基于多尺度...
【专利技术属性】
技术研发人员：徐红丽，王国存，李国林，刘兆峰，茹敬雨，王帅，
申请(专利权)人：东北大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。