一种基于多特征融合全卷积网络的多聚焦图像融合方法技术

本发明专利技术涉及图像处理技术领域，具体涉及一种基于多特征融合全卷积网络的多聚焦图像融合方法。本发明专利技术弥补了传统图像融合方法中均是手动设计特征提取方法和融合规则的不足，使多聚焦图像融合后细节信息得到充分保留；利用不同模糊函数预处理的图像数据训练网络，提高了网络的泛化性能和融合精度；构建的多特征融合全卷积网络，利用跨层连接实现了特征复用，既保留了图像的原始特征，同时增添了网络学习的特征，使得图像表征更加全面；且减少了网络参数量，提高了算法效率。提高了算法效率。提高了算法效率。

【技术实现步骤摘要】
一种基于多特征融合全卷积网络的多聚焦图像融合方法


[0001]本专利技术涉及图像处理
，具体涉及一种基于多特征融合全卷积网络的多聚焦图像融合方法。

技术介绍

[0002]图像是人们获取信息和交流沟通的重要方式，在人们的日常生活中起着举足轻重的作用。随着人类文明和现代科技飞速发展，各种各样的成像设备出现在了人们的生活中。但是，由于不同设备的成像方式不同，单一设备生成的图像往往是表面化的和片面性的，单源图像对场景和目标的信息无法做到真实和完整的反映。然而，在一些实际应用中，人们往往需要对同一场景采用多种不同的方式进行成像，以满足实际的需求。因此，将包含不同的互补信息的多源图像进行融合受到了国内外研究者的广泛关注。
[0003]一般情况下，因为成像参数、传感器和成像时间的不同使得到的图像都包含着冗余的信息或者互补的信息，这些包含不同信息的图像被称为多源图像。融合最初指数据融合，数据融合技术就是将不同类型传感器对同一目标得到的数据信息进行多方面、分级别和多层次的处理与融合，得到了更加丰富、更加可靠和更精确的有用数据。图像融合技术是数据融合技术的一部分，图像融合技术是由不同类型的传感器针对同一目标采集得到的不同图像，然后结合某种特定的融合算法，来获得一个满足实际需求的图像。
[0004]实际应用中，现有的传统图像融合方法中均是手动设计特征提取方法和融合规则，泛化性能与融合精度都较差。而神经网络的飞速发展使利用神经网络实现多聚焦图像的融合成为可能。

技术实现思路

[0005]针对现有技术中存在的问题，本专利技术的目的在于提出一种基于多特征融合全卷积网络的多聚焦图像融合方法，对同一场景下的多幅不同聚焦参数下的图像进行多聚焦图像融合，从而得到高质量的全聚焦图像。
[0006]为了达到上述目的，本专利技术采用以下技术方案予以实现。
[0007]一种基于多特征融合全卷积网络的多聚焦图像融合方法，包括以下步骤：
[0008]步骤1，选取一个包含多张光学图像的光学图像集，对光学图像集的光学图像进行处理，获得样本集；
[0009]步骤2，将样本集数据按比例划分为训练集与测试集；
[0010]步骤3，将训练集数据输入多特征融合全卷积网络，计算输出的全聚焦图像与全聚焦标签图像的损失函数，并进行反向传播更新多特征融合全卷积网络，直至损失函数收敛，得到训练后的多特征融合全卷积网络；
[0011]步骤4，将测试集数据输入训练后的多特征融合全卷积网络，对比输出的全聚焦图像和相对应的全聚焦标签图像，对比输出的全聚焦图像和相对应的待聚焦图像A、待聚焦图像B，验证多特征融合全卷积网络输出的全聚焦图像的质量；
[0012]步骤5，将需要融合的两张待聚焦图像输入训练后的多特征融合全卷积网络，得到融合后的全聚焦图像。
[0013]与现有技术相比，本专利技术的有益效果为：弥补了传统图像融合方法中均是手动设计特征提取方法和融合规则的不足，使多聚焦图像融合后细节信息得到充分保留；利用不同模糊函数预处理的图像数据训练网络，提高了网络的泛化性能和融合精度；构建的多特征融合全卷积网络，利用跨层连接实现了特征复用，既保留了图像的原始特征，同时增添了网络学习的特征，使得图像表征更加全面；且减少了网络参数量，提高了算法效率。
附图说明
[0014]下面结合附图和具体实施例对本专利技术做进一步详细说明。
[0015]图1为本专利技术的多特征融合全卷积网络结构示意图；
[0016]图2为一张未进行模糊处理前的原始图像；
[0017]图3为原始图像在四种图像模糊算法处理下，最终获得的待聚焦图像；
[0018]图3(a)为原始图像在基于高斯模糊函数的图像模糊算法处理下最终获得的待聚焦图像A；图3(b)为原始图像在基于高斯模糊函数的图像模糊算法处理下最终获得的待聚焦图像B；图3(c)为原始图像在基于均值模糊函数的图像模糊算法处理下最终获得的待聚焦图像A；图3(d)为原始图像在基于均值模糊函数的图像模糊算法处理下最终获得的待聚焦图像B；图3(e)为原始图像在基于散焦模糊函数的图像模糊算法处理下最终获得的待聚焦图像A；图3(f)为原始图像在基于散焦模糊函数的图像模糊算法处理下最终获得的待聚焦图像B；图3(g)为原始图像在基于运动模糊函数的图像模糊算法处理下最终获得的待聚焦图像A；图3(h)为原始图像在基于运动模糊函数的图像模糊算法处理下最终获得的待聚焦图像B；
[0019]图4为在四种图像模糊算法处理下，多特征融合全卷积网络的训练轮次和误差之间关系的曲线图；
[0020]图4(a)为在基于高斯模糊函数的图像模糊算法处理下，多特征融合全卷积网络的训练轮次和误差之间关系的曲线图；图4(b)为在基于均值模糊函数的图像模糊算法处理下，多特征融合全卷积网络的训练轮次和误差之间关系的曲线图；图4(c)为在基于散焦模糊函数的图像模糊算法处理下，多特征融合全卷积网络的训练轮次和误差之间关系的曲线图；图4(d)为在基于运动模糊函数的图像模糊算法处理下，多特征融合全卷积网络的训练轮次和误差之间关系的曲线图。
具体实施方式
[0021]下面将结合实施例对本专利技术的实施方案进行详细描述，但是本领域的技术人员将会理解，下列实施例仅用于说明本专利技术，而不应视为限制本专利技术的范围。
[0022]一种基于多特征融合全卷积网络的多聚焦图像融合方法，包括以下步骤：
[0023]步骤1，选取一个包含多张光学图像的光学图像集，对光学图像集的光学图像进行处理，获得样本集。
[0024]具体的，包含以下子步骤：
[0025]子步骤1.1，选取一个包含500张光学图像的光学图像集，对光学图像集中任一光
学图像进行降采样处理，得到大小为128
×
128，通道数为3的RGB原始图像；
[0026]子步骤1.2，使用图像模糊算法对RGB图像进行模糊处理，得到模糊图像；
[0027]子步骤1.3，获取待聚焦图像；
[0028]在模糊图像上的随机位置选取大小为48
×
48或64
×
64或90
×
90的子图a，使用子图a替换RGB图像上与子图a对应位置的像素，将替换后的RGB图像作为待聚焦图像A；
[0029]在RGB图像上与子图a对应的位置选取大小与子图a相同的子图b，使用子图b替换模糊图像上与子图b对应位置的像素，将替换后的模糊图像作为待聚焦图像B；
[0030]子步骤1.4，将RGB图像和与其对应的待聚焦图像A、待聚焦图像B作为一组数据；
[0031]子步骤1.5，对光学图像集中所有光学图像进行子步骤1.1～1.4，将获得的500组数据作为样本集。
[0032]图像模糊算法如基于高斯模糊函数的图像模糊算法、基于均值模糊函数的图像模糊算法、基于散焦模糊函数的图像模糊算法和基于运动模糊函数的图像模糊算法；
[0033]原始图像如图2所示；原始图像在基于高斯模糊函本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多特征融合全卷积网络的多聚焦图像融合方法，其特征在于，包括以下步骤：步骤1，选取一个包含多张光学图像的光学图像集，对光学图像集的光学图像进行处理，获得样本集；步骤2，将样本集数据按比例划分为训练集与测试集；步骤3，将训练集数据输入多特征融合全卷积网络，计算输出的全聚焦图像与全聚焦标签图像的损失函数，并进行反向传播更新多特征融合全卷积网络，直至损失函数收敛，得到训练后的多特征融合全卷积网络；步骤4，将测试集数据输入训练后的多特征融合全卷积网络，对比输出的全聚焦图像和相对应的全聚焦标签图像，对比输出的全聚焦图像和相对应的待聚焦图像A、待聚焦图像B，验证多特征融合全卷积网络输出的全聚焦图的质量；步骤5，将需要融合的两张待聚焦图像输入训练后的多特征融合全卷积网络，得到融合后的全聚焦图像。2.根据权利要求1所述的基于多特征融合全卷积网络的多聚焦图像融合方法，其特征在于，步骤1的子步骤为：子步骤1.1，选取一个包含多张光学图像的光学图像集，对光学图像集中任一光学图像进行降采样处理，得到大小为128
×
128，通道数为3的RGB原始图像；子步骤1.2，使用图像模糊算法对RGB图像进行模糊处理，得到模糊图像；子步骤1.3，获取待聚焦图像；在模糊图像上的随机位置选取大小为48
×
48或64
×
64或90
×
90的子图a，使用子图a替换RGB图像上与子图a对应位置的像素，将替换后的RGB图像作为待聚焦图像A；在RGB图像上与子图a对应的位置选取大小与子图a相同的子图b，使用子图b替换模糊图像上与子图b对应位置的像素，将替换后的模糊图像作为待聚焦图像B；子步骤1.4，将RGB图像和与其对应的待聚焦图像A、待聚焦图像B作为一组数据；子步骤1.5，对光学图像集中所有光学图像进行子步骤1.1～1.4，将获得的全部组数据作为样本集。3.根据权利要求1所述的基于多特征融合全卷积网络的多聚焦图像融合方法，其特征在于，步骤3的将训练集数据输入多特征融合全卷积网络，具体的，每组数据的待聚焦图像A、待聚焦图像B作为输入，每组数据的RGB图像作为全聚焦标签图像。4.根据权利要求3所述的基于多特征融合全卷积网络的多聚焦图像融合方法，其特征在于，步骤3的多特征融合全卷积网络，具体的，多特征融合全卷积网络包含编码层、特征融合层、解码层和输出层；编码层包含依次连接的两个卷积层、一个拼接层和一个卷积层；待聚焦图像A作为编码层的第一路输入，待聚焦图像B作为编...

【专利技术属性】
技术研发人员：周峰，石晓然，龚啸，杨爽，樊伟伟，董洋珣，刘磊，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：