【技术实现步骤摘要】
本专利技术涉及图像渲染、元宇宙、创意计算、虚拟现实(vr)和增强现实(ar)等，尤其涉及一种基于asm与gans的沙尘图像无配对学习仿真方法。
技术介绍
1、在元宇宙、创意计算、虚拟现实(vr)和增强现实(ar)等领域，图像渲染起着至关重要的作用。在元宇宙中，逼真的图像渲染能够构建出更加真实和细致的虚拟世界，使用户感受到身临其境的体验；在创意计算中，图像渲染技术为艺术家和设计师提供了强大的工具，使他们能够实现更加丰富和细腻的视觉创作；在vr和ar领域，逼真的图像渲染能够增强虚拟和现实世界的互动，为用户带来更加自然和直观的体验。图像渲染技术的发展不仅提升了各个领域的应用效果，还推动了科技与艺术的交叉融合，开创了新的创作和体验方式。
2、近年来，深度学习已经广泛应用于各种图像增强任务，如图像去雾、图像去雨和水下图像增强。然而，由于缺乏大规模的尘埃图像数据集，相较于其他图像增强任务，沙尘天气的图像渲染研究还相对匮乏，尚未引起研究人员的广泛关注。现有的通用图像增强算法难以在渲染沙尘的同时保留原始颜色和对象的详细信息，且仍主要采用传统的颜色校正方法。
3、现有的沙尘渲染算法主要分为三大类：基于传统技术的方法、基于物理模型的方法和基于深度学习的方法。
4、基于传统技术的图像增强方法。传统的沙尘暴图像增强方法主要解决色彩偏移和清晰化处理两个问题，通常通过均衡化颜色、提升对比度和增强亮度来恢复图像的视觉清晰度。例如，reza等人引入了对比度受限的自适应直方图均衡化(clahe)，以改善局部区域的噪声敏感问题；
5、基于物理模型的图像增强方法。基于物理模型的方法利用图像退化中的先验知识来逆向处理沙尘图像，这类方法常将沙尘图像视为带有色彩偏移的雾霾图像，并使用光学模型重建清晰图像。例如，shi等人提出了一种结合色彩均衡和暗通道先验(dark channelprior,dcp)的策略，解决了增强结果中的光晕伪影问题。yu等人则在物理模型和dcp的基础上加入信息损失约束，保持输出图像的亮度恒定。虽然这些方法在处理颜色失真和细节丢失方面效果显著，但它们依赖先验知识，随着计算过程的推进，可能会导致噪声积累，最终在结果中产生噪点。
6、基于深度学习的图像增强方法。随着深度学习在视觉领域的发展，研究者们开始探索其在图像增强任务中的应用。这些方法通过大规模图像数据集训练模型，减少对物理模型参数的人为估计误差，提升图像恢复效果。例如，huang等人提出了沙尘感知表征提取模块，通过模块估计沙尘颜色和局部空间信息来恢复图像的清晰度。然而，这需要大量成对的沙尘图像数据来训练模型。为解决此问题，ding等人提出了一种基于先验的无监督沙尘图像增强网络，通过对抗学习重建具有真实颜色和自然对比度的清晰图像。gao等人引入了端到端的循环生成对抗网络，并设计了联合优化引导模块，以减少重建中的颜色失真和伪影问题。尽管无监督方法减少了对成对数据集的依赖，但由于沙尘场景多变，真实数据集难以覆盖所有特征，导致此类算法的泛化性较差。
7、因此，现有沙尘图像渲染方法主要存在三个主要挑战：1)传统方法虽然通过均衡化颜色和提升对比度等手段增强了图像的视觉清晰度，但易导致颜色失真和噪声放大。2)基于物理模型的方法依赖先验知识，常引发噪声积累问题，在结果中产生噪点。3)基于深度学习的方法尽管减少了对物理模型参数的依赖，但由于沙尘场景的多样性和数据集覆盖的局限性，导致算法的泛化能力较差。
技术实现思路
1、为解决现有技术存在的缺陷和不足，本专利技术提出了一种基于生成对抗网络(gans)和大气散射模型的无配对图像沙尘渲染学习网络。本专利技术主要贡献如下：
2、(1)通过无参考图像融合策略，利用图像质量评估无需参考指标的能力，将以不同方式渲染的两幅图像融合在一起，提高渲染结果的一致性和稳定性。实验证明能够有效避免了传统方法易导致的颜色失真和噪声放大问题。
3、(2)提出了基于asm与gans的无配对学习网络，即dustgan，用于沙尘图像渲染。其一，dustgan通过训练无配对的清晰和含尘图像，突破了基于配对学习的图像增强需要清晰-含尘图像配对的限制；其二，dustgan含有两个网络分支，深度估计网络与生成对抗网络分别进行图像增强，再将渲染的沙尘图像进行融合。实验结果表明，dustgan沙尘渲染方面具有显著优势，不仅避免了基于物理模型方法常见的噪声积累间题，并且其使用无配对学习网络和无参考图像融合策略生成最终的结果，提升了对多样沙尘场景的泛化能力，克服了基于深度学习方法的局限性。
4、(3)通过利用dustgan构建了一个含有22种不同颜色的沙尘图像增强数据集scid，并进行实验评估。实验结果表明，该数据集在保持图像质量方面具有较高的还原能力，接近真实沙尘图像，验证了dustgan算法相对于现有方法的优越性。此外，还使用流行图像去尘算法对所提出的沙尘图像增强数据集scid进行处理，验证了其在恢复图像质量方面的有效性。
5、本专利技术具体采用以下技术方案：
6、一种基于asm与gans的沙尘图像无配对学习仿真方法：采用基于asm和gan的无配对学习网络进行沙尘图像渲染，其中，采用深度估计网络建立asm模型并采用生成对抗网络分别进行图像增强，再通过无参考图像融合策略将两个网络生成的图像进行融合。
7、进一步地，使用monodepth2建立asm模型对图像进行沙尘渲染，包括：
8、深度估计过程：加载预训练的monodepth2编码器和解码器模型，使用编码器提取图像特征，并通过解码器生成深度图；
9、沙尘渲染过程：将预测的深度图进行归一化处理，加载原始图像和沙尘效果图，通过深度图的归一化值进行加权融合：
10、jdust＝0.8*(0.8*imageorg*depthnormalized+1.3*imagecolor*(l-depthnormalized))
11、其中，jdust是生成的沙尘渲染图像，imageorg是原始图像，depthnormalized是深度图，imagecolor是沙尘效果图；通过原始图像的内容与沙尘效果图的进行线性组合，获得沙尘渲染结果jdust。
12、进一步地，所述无配对学习网络包含两个分支，首先从两个分支生成两个初步渲染图像jdust和jrefine，然后通过无参考图像融合策略将它们融合，得到最终的去尘输出jfused。
13、进一步地，所述无配对学习网络中，对于第一个分支；给定清晰无尘图像，表示为ifree；首先，将无尘图像ifree输入至深度估计网络gd，通过monodepth2模型生成一个初步渲染图像jdust作为第一个分支的最终本文档来自技高网...
【技术保护点】
1.一种基于ASM与GANs的沙尘图像无配对学习仿真方法，其特征在于：采用基于ASM和GAN的无配对学习网络进行沙尘图像渲染，其中，采用深度估计网络建立ASM模型并采用生成对抗网络分别进行图像增强，再通过无参考图像融合策略将两个网络生成的图像进行融合。
2.根据权利要求1所述的基于ASM与GANs的沙尘图像无配对学习仿真方法，其特征在于：
3.根据权利要求1所述的基于ASM与GANs的沙尘图像无配对学习仿真方法，其特征在于：所述无配对学习网络包含两个分支，首先从两个分支生成两个初步渲染图像Jdust和Jrefine，然后通过无参考图像融合策略将它们融合，得到最终的去尘输出Jfused。
4.根据权利要求3所述的基于ASM与GANs的沙尘图像无配对学习仿真方法，其特征在于：
5.根据权利要求4所述的基于ASM与GANs的沙尘图像无配对学习仿真方法，其特征在于：所述深度估计网络GD包括：基于ResNet-18的编码器，包含18层卷积层和多个残差块，以及作为解码器的多尺度解码网络，包含4个尺度的反卷积层和上采样层；所述精化网络GJ是一个带
6.根据权利要求3所述的基于ASM与GANs的沙尘图像无配对学习仿真方法，其特征在于：所述无参考图像融合策略基于自然图像质量评估器NIQE和基于感知的图像质量评估器PIQE，结合图像质量评估中的梯度模量和色度信息以进行感知融合。
7.根据权利要求6所述的基于ASM与GANs的沙尘图像无配对学习仿真方法，其特征在于：
8.根据权利要求3所述的基于ASM与GANs的沙尘图像无配对学习仿真方法，其特征在于：
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8任一项所述的基于ASM与GANs的沙尘图像无配对学习仿真方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-8任一项所述的基于ASM与GANs的沙尘图像无配对学习仿真方法的步骤。
...【技术特征摘要】
1.一种基于asm与gans的沙尘图像无配对学习仿真方法，其特征在于：采用基于asm和gan的无配对学习网络进行沙尘图像渲染，其中，采用深度估计网络建立asm模型并采用生成对抗网络分别进行图像增强，再通过无参考图像融合策略将两个网络生成的图像进行融合。
2.根据权利要求1所述的基于asm与gans的沙尘图像无配对学习仿真方法，其特征在于：
3.根据权利要求1所述的基于asm与gans的沙尘图像无配对学习仿真方法，其特征在于：所述无配对学习网络包含两个分支，首先从两个分支生成两个初步渲染图像jdust和jrefine，然后通过无参考图像融合策略将它们融合，得到最终的去尘输出jfused。
4.根据权利要求3所述的基于asm与gans的沙尘图像无配对学习仿真方法，其特征在于：
5.根据权利要求4所述的基于asm与gans的沙尘图像无配对学习仿真方法，其特征在于：所述深度估计网络gd包括：基于resnet-18的编码器，包含18层卷积层和多个残差块，以及作为解码器的多尺度解码网络，包含4个尺度的反卷积层和上采样...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。