图像的盲增强方法及装置、电子设备、存储介质制造方法及图纸

本申请提供一种图像的盲增强方法及装置、电子设备、计算机可读存储介质，该方法包括：将目标图像输入已训练的残差特征提取网络，获得目标图像的残差特征；将目标图像输入已训练图像修复网络的编码器，获得目标图像的纹理特征和结构特征；通过图像修复网络的多尺度填充模块对纹理特征和结构特征分别进行多尺度填充处理，得到填充后纹理特征和填充后结构特征；将填充后纹理特征、填充后结构特征和残差特征输入已训练图像修复网络的特征均衡模块，获得均衡融合特征；将均衡融合特征、纹理特征和结构特征输入已训练图像修复网络的解码器，获得目标图像的盲增强图像。本申请方案，可以在不确定图像中噪声位置的情况下对图像进行修复。确定图像中噪声位置的情况下对图像进行修复。确定图像中噪声位置的情况下对图像进行修复。

【技术实现步骤摘要】
图像的盲增强方法及装置、电子设备、存储介质


[0001]本申请涉及图像处理
，特别涉及一种图像的盲增强方法及装置、电子设备、计算机可读存储介质。

技术介绍

[0002]大部分合金材料在熔铸过程中，都会经历凝固过程。在凝固过程中，液态合金逐步析出固相晶粒，随着温度的下降，晶粒不断形核、生长并按照不同形式粗化，逐步形成具有复杂形貌和复杂空间结构的枝晶组织结构。与此同时，金属凝固过程中会形成复杂的金属间化合物、二次析出相、裂痕、缩孔等结构性缺陷。金属在凝固过程中成形的微观结构对合金材料的最终性能具有决定性作用。目前，可以通过X射线成像技术对合金样品在凝固过程各个阶段采集同步辐射图像，从而依据图形对凝固过程中的微观结构进行研究。
[0003]同步辐射图像与自然图像有一些区别，具体包括：1.具有预处理步骤(平场校正、直方图均衡化)带来的不可避免且不可忽视的全局类高斯分布噪声；2.合金样品表面会出现氧化物等杂质遮挡，这些遮挡物形态多样，同时具有不同的透明度，这使得图像中会出现包含有价值的图像内容信息的受损区域。遮挡物本身对像素强度的影响不一，可能呈增强效果，也可能呈削弱效果。
[0004]在现有的材料学分析过程中，对于包含噪声的合金微观组织图像，通常采用传统的去噪算法进行全局噪声的去除，但传统算法的不可泛化性使得去噪过程需要非常高的时间成本；另外，对于遮挡物带来的受损区域，通常直接丢弃，对于一些材料学分析的定量表示任务(比如：分割、计数等)而言，因遮挡物带来的语义噪声而丢弃图像无疑是数据浪费。
专利
技术实现思路

[0005]本申请实施例的目的在于提供一种图像的盲增强方法及装置、电子设备、计算机可读存储介质，用于在不确定图像中噪声位置的情况下对图像进行修复。
[0006]一方面，本申请提供了一种图像的盲增强方法，包括：
[0007]将目标图像输入已训练的残差特征提取网络，获得所述目标图像的残差特征；
[0008]将所述目标图像输入已训练图像修复网络的编码器，获得所述目标图像的纹理特征和结构特征；
[0009]通过所述图像修复网络的多尺度填充模块对所述纹理特征和所述结构特征分别进行多尺度填充处理，得到填充后纹理特征和填充后结构特征；
[0010]将所述填充后纹理特征、所述填充后结构特征和所述残差特征输入已训练图像修复网络的特征均衡模块，获得均衡融合特征；
[0011]将所述均衡融合特征、所述纹理特征和所述结构特征输入已训练图像修复网络的解码器，获得所述目标图像的盲增强图像。
[0012]在一实施例中，所述编码器为已训练的基于U
‑
Net的图像修复网络的编码器；
[0013]所述将所述目标图像输入已训练图像修复网络的编码器，获得所述目标图像的纹
理特征和结构特征，包括：
[0014]将所述目标图像输入所述编码器，以由所述编码器对所述目标图像进行编码处理，获得多个浅层特征和多个深层特征；
[0015]将所述浅层特征作为纹理特征，将所述深层特征作为结构特征。
[0016]在一实施例中，所述多尺度填充模块包括第一多尺度填充模块和第二多尺度填充模块；
[0017]所述通过所述图像修复网络的多尺度填充模块对所述纹理特征和所述结构特征分别进行多尺度填充处理，得到填充后纹理特征和填充后结构特征，包括：
[0018]对多个纹理特征和多个结构特征分别进行融合处理，获得指定纹理特征和指定结构特征；
[0019]将所述指定纹理特征输入所述第一多尺度填充模块，获得所述第一多尺度填充模块输出的多个填充后子纹理特征，并将所述多个填充后子纹理特征融合为填充后纹理特征；
[0020]将所述指定结构特征输入所述第二多尺度填充模块，获得所述第二多尺度填充模块输出的多个填充后子结构特征，并将所述多个填充后子结构特征融合为填充后结构特征。
[0021]在一实施例中，所述将所述填充后纹理特征、所述填充后结构特征和所述残差特征输入已训练图像修复网络的特征均衡模块，获得均衡融合特征，包括：
[0022]将所述填充后纹理特征和所述填充后结构特征进行拼接，获得待均衡特征；
[0023]将所述待均衡特征输入所述特征均衡模块，以由所述特征均衡模块对所述待均衡特征进行通道维度的均衡处理，获得中间特征图；
[0024]通过所述特征均衡模块对所述中间特征图和所述残差特征进行空间维度的均衡处理，获得所述均衡融合特征。
[0025]在一实施例中，所述解码器为已训练的基于U
‑
Net的图像修复网络的解码器；
[0026]所述将所述均衡融合特征、所述纹理特征和所述结构特征输入已训练图像修复网络的解码器，获得所述目标图像的盲增强图像，包括：
[0027]将所述均衡融合特征、所述纹理特征和所述结构特征通过跳跃连接的方式输出至所述解码器的各个网络层，以由所述解码器输出所述目标图像的盲增强图像。
[0028]在一实施例中，所述残差特征提取网络和所述图像修复网络通过如下方式训练得到：
[0029]将第一样本数据集中的样本图像分别输入经过预训练的残差特征提取网络和未训练的图像修复网络，获得经过预训练的残差特征提取网络输出的样本残差特征、所述图像修复网络的编码器输出的样本纹理特征和样本结构特征、所述图像修复网络的解码器输出的预测增强图像；
[0030]确定所述样本残差特征与所述样本图像的残差标签之间的第一差异、所述样本纹理特征与所述样本图像的纹理标签之间的第二差异、所述样本结构特征与所述样本图像的结构标签之间的第三差异、所述预测增强图像与所述样本图像的目标标签之间的第四差异；
[0031]在生成对抗机制下，将所述残差特征提取网络和所述图像修复网络作为生成器，
结合所述第一差异、所述第二差异、所述第三差异和所述第四差异，对所述残差特征提取网络和所述图像修复网络的网络参数进行调整；
[0032]重复上述过程，直至所述残差特征提取网络和所述图像修复网络收敛。
[0033]在一实施例中，所述残差特征提取网络的预训练过程如下：
[0034]将第二样本数据集中的样本图像输入未训练的残差特征提取网络，获得所述残差特征提取网络输出的预测残差特征；
[0035]基于所述预测残差特征与所述样本图像的残差标签之间的差异，对所述残差特征提取网络的网络参数进行调整；
[0036]重复上述过程，直至所述残差特征提取网络收敛。
[0037]另一方面，本申请还提供了一种图像的盲增强装置，包括：
[0038]第一提取模块，用于将目标图像输入已训练的残差特征提取网络，获得所述目标图像的残差特征；
[0039]第二提取模块，用于将所述目标图像输入已训练图像修复网络的编码器，获得所述目标图像的纹理特征和结构特征；
[0040]填充模块，用于通过所述图像修复网络的多尺度填充模块对所述纹理特征和所述结构特征分别进行多尺度填充处理，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像的盲增强方法，其特征在于，包括：将目标图像输入已训练的残差特征提取网络，获得所述目标图像的残差特征；将所述目标图像输入已训练图像修复网络的编码器，获得所述目标图像的纹理特征和结构特征；通过所述图像修复网络的多尺度填充模块对所述纹理特征和所述结构特征分别进行多尺度填充处理，得到填充后纹理特征和填充后结构特征；将所述填充后纹理特征、所述填充后结构特征和所述残差特征输入已训练图像修复网络的特征均衡模块，获得均衡融合特征；将所述均衡融合特征、所述纹理特征和所述结构特征输入已训练图像修复网络的解码器，获得所述目标图像的盲增强图像。2.根据权利要求1所述的方法，其特征在于，所述编码器为已训练的基于U
‑
Net的图像修复网络的编码器；所述将所述目标图像输入已训练图像修复网络的编码器，获得所述目标图像的纹理特征和结构特征，包括：将所述目标图像输入所述编码器，以由所述编码器对所述目标图像进行编码处理，获得多个浅层特征和多个深层特征；将所述浅层特征作为纹理特征，将所述深层特征作为结构特征。3.根据权利要求1所述的方法，其特征在于，所述多尺度填充模块包括第一多尺度填充模块和第二多尺度填充模块；所述通过所述图像修复网络的多尺度填充模块对所述纹理特征和所述结构特征分别进行多尺度填充处理，得到填充后纹理特征和填充后结构特征，包括：对多个纹理特征和多个结构特征分别进行融合处理，获得指定纹理特征和指定结构特征；将所述指定纹理特征输入所述第一多尺度填充模块，获得所述第一多尺度填充模块输出的多个填充后子纹理特征，并将所述多个填充后子纹理特征融合为填充后纹理特征；将所述指定结构特征输入所述第二多尺度填充模块，获得所述第二多尺度填充模块输出的多个填充后子结构特征，并将所述多个填充后子结构特征融合为填充后结构特征。4.根据权利要求1所述的方法，其特征在于，所述将所述填充后纹理特征、所述填充后结构特征和所述残差特征输入已训练图像修复网络的特征均衡模块，获得均衡融合特征，包括：将所述填充后纹理特征和所述填充后结构特征进行拼接，获得待均衡特征；将所述待均衡特征输入所述特征均衡模块，以由所述特征均衡模块对所述待均衡特征进行通道维度的均衡处理，获得中间特征图；通过所述特征均衡模块对所述中间特征图和所述残差特征进行空间维度的均衡处理，获得所述均衡融合特征。5.根据权利要求1所述的方法，其特征在于，所述解码器为已训练的基于U
‑
Net的图像修复网络的解码器；所述将所述均衡融合特征、所述纹理特征和所述结构特征输入已训练图像修复网络的解码器，获得所述目标图像的盲增强图像，包括：
将所述均衡融合特征、所述纹...

【专利技术属性】
技术研发人员：徐奕，李一鸣，王楠，王明达，张佼，唐洋，孙宝德，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：