【技术实现步骤摘要】
本专利技术涉及图像修复领域，特别是涉及一种面向多场景的图像修复方法和装置。
技术介绍
1、随着人工智能与物联网技术的快速发展与深度普及，户外场景下的视觉任务受到了来自工业界和学术界的广泛关注。其中，户外场景，特别是如雨雾天等特殊天气和低光照等外界因素，会出现雨滴干扰、雪花干扰或低光照干扰等降质因素，对图像的成像质量影响巨大，造成大量的低质量图像被捕捉。由于存在天气噪音、光照过低等因素，使用低质量图像进行图像分类或目标识别等视觉任务时，其结果往往出现较大偏差。
2、鉴于此，如何克服现有技术所存在的缺陷，解决由于场景因素导致的图像质量较低的现象，是本
待解决的问题。
技术实现思路
1、针对现有技术的以上缺陷或改进需求，本专利技术解决了由于场景因素导致的图像质量较低的问题。
2、本专利技术实施例采用如下技术方案：
3、第一方面，本专利技术提供了一种面向多场景的图像修复方法，具体为：图像修复使用的神经网络模型中包括编码器、解码器a和解码器b，包括：将图像样本输入至编码器中，使用编码器提取图像样本的多尺度深度特征；将多尺度深度特征分别输入解码器a和解码器b中，使用解码器a恢复有噪音图像，使用解码器b恢复无噪音图像；基于有噪音图像和无噪音图像获得损失函数，基于损失函数对神经网络模型进行训练；使用训练后的编码器提取待修复图像的多尺度深度特征，将多尺度深度特征输入解码器b中，以获得修复后的干净图像。
4、优选的，所述编码器包括stem卷积、大核
5、优选的，每个所述transformer块由两个基础transformer模块串联构成，具体包括：每个基础transformer模块由层正则化和多头自注意力以残差的形式连接，再与一个3×3卷积核激活函数残差串联。
6、优选的，所述下采样卷积包括至少一个卷积核，具体包括：下采样卷积中的卷积核数量大于步长，下采样卷积的输出通道维度等于输入通道维度的两倍。
7、优选的，所述将多尺度深度特征分别输入解码器a和解码器b中，具体包括：获取多尺度深层特征中每个尺度和维度的特征张量，将获得的特征张量以跳跃连接的方式分别输入至解码器a和解码器b对应的模块中。
8、优选的，所述解码器a包括4个结构一致的转置卷积模块，所述使用解码器a恢复有噪音图像，具体包括：获取编码器对应层的输出结果和上级解码器的输出结果，将获取到的输出结果输入至每个转置卷积模块相应的卷积中，以便通过相应的转置卷积模块得到恢复后的有噪音图像。
9、优选的，所述解码器a的每个转置卷积模块中依次包括：批量归一化、第一卷积、激活函数、第一转置卷积、第二卷积和第二转置卷积，所述将获取到的输出结果输入至每个转置卷积模块相应的卷积中，具体包括：将编码器对应层的输出结果输入至第二卷积中，将上一层解码器的输出结果输入至批量归一化和第二转置卷积中。
10、优选的，所述损失函数构造如下：
11、
12、其中，dai为解码器a输出的图像，dbi为解码器b输出的图像，dmgi为第i个图像样本，gti为第i个图像样本对应的干净图像，n为图像样本的总数，l1(·)表示使用平均绝对误差损失函数进行计算。
13、第二方面，本专利技术提供了一种面向多场景的图像修复装置，具体为：包括至少一个处理器和存储器，至少一个处理器和存储器之间通过数据总线连接，存储器存储能被至少一个处理器执行的指令，指令在被处理器执行后，用于完成第一方面中的面向多场景的图像修复方法。
14、第三方面，本专利技术还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，用于完成第一方面所述的方法。
15、第四方面，提供了一种芯片，包括：处理器和接口，用于从存储器中调用并运行存储器中存储的计算机程序，执行如第一方面的方法。
16、第五方面，提供了一种包含指令的计算机程序产品，当该指令在计算机或处理器上运行时，使得计算机或处理器执行如第一方面的方法。
17、与现有技术相比，本专利技术的有益效果在于：使用非对称编解码器结构，实现低质量图像的深度特征学习和基于多约束的高质量图像恢复，能够针对多种降质因素进行图像质量增强，较好地还原出高质量的图像。
本文档来自技高网...【技术保护点】
1.一种面向多场景的图像修复方法，其特征在于，图像修复使用的神经网络模型中包括编码器、解码器A和解码器B，包括：
2.根据权利要求1所述的面向多场景的图像修复方法，其特征在于，所述编码器包括Stem卷积、大核卷积、Transformer块和下采样卷积，所述使用编码器提取图像样本的多尺度深度特征，具体包括：
3.根据权利要求2所述的面向多场景的图像修复方法，其特征在于，每个所述Transformer块由两个基础Transformer模块串联构成，具体包括：
4.根据权利要求2所述的面向多场景的图像修复方法，其特征在于，所述下采样卷积包括至少一个卷积核，具体包括：
5.根据权利要求1所述的面向多场景的图像修复方法，其特征在于，所述将多尺度深度特征分别输入解码器A和解码器B中，具体包括：
6.根据权利要求1所述的面向多场景的图像修复方法，其特征在于，所述解码器A包括4个结构一致的转置卷积模块，所述使用解码器A恢复有噪音图像，具体包括：
7.根据权利要求6所述的面向多场景的图像修复方法，其特征在于，所述解码器A的每个
8.根据权利要求1所述的面向多场景的图像修复方法，其特征在于，所述损失函数构造如下：
9.一种面向多场景的图像修复装置，其特征在于：
10.一种非易失性计算机存储介质，其特征在于，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，用于完成如权利要求1-8任一项所述的面向多场景的图像修复方法。
...【技术特征摘要】
1.一种面向多场景的图像修复方法，其特征在于，图像修复使用的神经网络模型中包括编码器、解码器a和解码器b，包括：
2.根据权利要求1所述的面向多场景的图像修复方法，其特征在于，所述编码器包括stem卷积、大核卷积、transformer块和下采样卷积，所述使用编码器提取图像样本的多尺度深度特征，具体包括：
3.根据权利要求2所述的面向多场景的图像修复方法，其特征在于，每个所述transformer块由两个基础transformer模块串联构成，具体包括：
4.根据权利要求2所述的面向多场景的图像修复方法，其特征在于，所述下采样卷积包括至少一个卷积核，具体包括：
5.根据权利要求1所述的面向多场景的图像修复方法，其特征在于，所述将多尺度深度特征分别输入解码器a和解码器b中，具体包括：
6.根据...
【专利技术属性】
技术研发人员：刘毅，
申请(专利权)人：中国船舶集团有限公司第七〇九研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。