System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及图像去雾,特别是基于弱监督对比学习的4k图像去雾算法。
技术介绍
1、高清视频技术随着社会的进步得以迅速发展,其主要作用是帮助人们在获取视频资源时发现更多细节。“高清”即“高分辨率”,现如今的主流高分辨率有2k(2560×1440)和4k(3840×2160),大大高于以往的模拟图像(最高为d1即720×576)。图像分辨力得到了质的提升,例如在安防行业,无论是实时监控还是事后调查中,视频监控的应用效果得到了进一步的肯定。然而,随着新技术的发展和普及,也会出现一些问题。目前,数字高清图像在真实世界中面临的一个问题是图像在雾霾天气下,细节和对比度会明显下降,图像的有效识别率较低。因此,对在雾霾天气下拍摄的图像进行去雾处理,以积极有效地提升图像质量显得越来越重要。
2、近年来,尽管视频去雾算法取得了显著进展,但仍存在一些问题。首先,雾霾和细节信息都可能导致图像模糊,难以区分,因此在去除雾霾的同时,部分细节信息可能会被削弱,造成细节丢失。其次,利用相邻帧信息进行去雾虽然可以有效减少目标帧中的雾霾影响,但也可能引入相邻帧中的噪声和伪影,降低去雾效果。近年来,基于深度学习的方法——卷积神经网络(cnn)在图像去雾领域取得了显著进展,这些深度学习模型能够通过训练大量数据来学习图像特征,从而实现更准确的细节和雾霾区分,而无需依赖相邻帧信息。
3、然而,深度学习方法也有不足之处。传统的深度学习模型通常参数量大、浮点运算量高、数据吞吐量大、运算逻辑复杂,这些特点导致推理运算需要消耗大量的计算资源,包括浮点运算
4、综上所述,本方案将采用全局特征和局部特征相结合,使其在资源受限、功耗低的边缘设备上提供稳定、准确、快速的超高清去雾功能,从而提高算法的效率和实用性。
技术实现思路
1、本专利技术的目的在于克服现有技术的缺点,提供基于弱监督对比学习的4k图像去雾算法,达到了高分辨率图像去雾算法耗时短,且能够保持高精度去雾效果。
2、本专利技术的目的通过以下技术方案来实现:
3、第一方面,本申请实施例之一提供一种基于弱监督对比学习的4k图像去雾算法,包括以下步骤:
4、s1、图像预备处理;
5、将输入的有雾图像经暗通道先验处理后、再通过大气散射模型进行校正,得到暗通道先验图像;
6、将暗通道先验图像与有雾图像进行加权融合,得到融合图像;
7、s2、生成图像;
8、将融合图像输入u-net卷积神经网络结构中,通过卷积操作进行编码,提取多尺度特征,然后通过解码器逐步恢复图像的空间分辨率,输出复原图像,是指清晰图像;在提取多尺度特征阶段,插入有残差块,并且在残差块的基础上引入sc注意力机制;
9、s3、鉴别图像;
10、将复原图像划分为多个小块,然后通过patchgan鉴别器判断每个小块是否为真实图像的一部分;在网络的训练过程中,采用最小二乘gan精算生成器和鉴别器之间的对空损失,指导生成器生成更真实的去雾图像-即得到初步恢复后的无雾图像;
11、s4、对比学习损失函数;
12、s401、构建正样本、负样本;
13、从输入的有雾图像中随机选择n+1个图像块,从n+1个图像块中一个图像块;从输出的复原图像中找到一个图像块,图像块与图像块的位置相对;有雾图像中随机选择n+1个图像块,除去图像块外,还剩余n个图像块;那么,图像块与图像块组成一对正样本;将图像块与剩余的n个图像块,组成n组负样本;
14、使用带有噪声的对比估计模块来最大化正样本之间的互信息-即、中对应的图像块之间的互信息,具体如下:
15、将复原图像中的图像块作为锚点,将锚点、正样本、负样本映射为k维向量-分别表示为、和;
16、b.计算正样本相对于负样本被选择的概率,该概率通过交叉熵损失来表达
17、
18、其中,表示和之间的余弦相似度;参数是一个温度参数,用于调整锚点和其他样本之间的距离,通常默认设置为0.07;则指代第n个负样本;
19、s402、逐像素对比损失;
20、采用编码器和两个多层感知机网络从输入的有雾图像中提取特征,并将其嵌入到特征堆栈;其中,表示从编码器中全部选中的层数,表示为选定的第层;表示,将图像中选取的样本,输入网络后依次经过编码层的计算获得的特征,经过一层就会有一个特征,这里表示选定第层;表示,已知选择并计算获得了相应层数的特征,然后将相应层数的特征又经过多层感知机网络,然后进行每个样本块计算后就获得了的特征感知结果;是的简单表达;表示一个样本经过选定层的计算后得到的一个特征值;这些特征堆栈代表了不同的图像块;
21、将每个选定层中的空间位置设置为,其中代表每层空间位置的个数;
22、每层选择一个锚点,并将其特征表示为,其中代表每一层的通道数;其中,表示,所有样本经过计算后组成的一个集合,s表示所有样本的数量;
23、将正样本的特征、负样本的特征分别表示为、;其中,表示正样本经过计算后组成的一个集合;s\s表示,在所有样本s中去除正样本s的结果,即全部负样本;表示,所有负样本经过计算后组成的一个集合,因为每一层的特征集合均少计算一个正样本,因此其集合的数据量变为;
24、最终的损失表示为:
25、
26、其中,表示输入和输出图像块之间的映射关系,有n+1个映射关系;
27、s403、逐像素对比损失;
28、通过拍摄获得真实世界的干净图像、通过拍摄获得真实世界的对应的雾霾图像,这些图像是从真实世界的图像中随机选择的、并且彼此之间不配对;
29、生成正负样本对:采用干净图像和初步恢复的无雾图像作为正样本对,使用雾霾图像和初步恢复的无雾图像作为负样本对;
30、损失计算:通过构建像素级自对比感知损失,比较正样本对和负样本对,增强模型的辨别能力;
31、特征提取:引入预训练的vgg-16网络,提取正负样本对的特征映射,以进一步提升图像复原效果;
32、因此,在损失计算中,逐像对比损失被描述为
33、
34、其中,,= 1,2,…表示为imagenet上预训练的vgg-16网络提取的第i个隐藏特征;选择第2,3,5个最大池化层;代表权重系数,分别为0.4,0.6和1;表示一个常数值;公式中的“1”,表示l1范数,也称曼哈顿距离,即向量中各元素的绝对值之和,用于衡本文档来自技高网...
【技术保护点】
1.基于弱监督对比学习的4K图像去雾算法,其特征在于:包括以下步骤:
2.根据权利要求1所述的基于弱监督对比学习的4K图像去雾算法,其特征在于:所述的S1包括:
3.根据权利要求2所述的基于弱监督对比学习的4K图像去雾算法,其特征在于:所述的S2包括:
4.根据权利要求3所述的基于弱监督对比学习的4K图像去雾算法,其特征在于:所述的在低分辨率空间中使用9个残差块,提取更为复杂和深度的特征,是指:在残差块的最后,引入SC注意力机制,其分为通道注意力机制、空间注意力机制;
5.根据权利要求3所述的基于弱监督对比学习的4K图像去雾算法,其特征在于:所述的S3,包括:S301、图像划分;
6.根据权利要求5所述的基于弱监督对比学习的4K图像去雾算法,其特征在于:所述的S3中,采用最小二乘GAN损失训练网络,建立损失函数,该损失函数被被表示为:
7.基于弱监督对比学习的4K图像去雾算法的装置,包括处理器,其特征在于:所述处理器用于执行权利要求1~6任一项所述的基于弱监督对比学习的4K图像去雾算法。
8.一种
...【技术特征摘要】
1.基于弱监督对比学习的4k图像去雾算法,其特征在于:包括以下步骤:
2.根据权利要求1所述的基于弱监督对比学习的4k图像去雾算法,其特征在于:所述的s1包括:
3.根据权利要求2所述的基于弱监督对比学习的4k图像去雾算法,其特征在于:所述的s2包括:
4.根据权利要求3所述的基于弱监督对比学习的4k图像去雾算法,其特征在于:所述的在低分辨率空间中使用9个残差块,提取更为复杂和深度的特征,是指:在残差块的最后,引入sc注意力机制,其分为通道注意力机制、空间注意力机制;
5.根据权利要求3所述的基于弱监督对比学习的4k图像去雾算法,...
【专利技术属性】
技术研发人员:王曼,宋小民,刘征,姚平,谢超平,杨俊,李怡,虞建,王玮,李子清,吴成志,郑慧明,李毅,孙忠武,邓义斌,王友全,付瑜,王正雄,赵周丽,陆俊,郭竹修,郭建兵,刘彬,张咔,
申请(专利权)人:四川国创新视超高清视频科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。