一种高效的多聚焦图像融合方法及其模型搭建方法技术

本发明专利技术提供了一种高效的多聚焦图像融合方法及其模型搭建方法，属于计算机视觉技术领域，模型搭建方法为：获取包含不同聚焦区域的图像原始数据；对获取的原始数据进行预处理构建多聚焦图像训练集；基于GAN网络结构，采取交错的伪孪生双路网络结构进行输入，其两个网络分支的权重不共享，并使用一种细节特征提取模块有效区分聚焦和散焦的边界，同时能够更好地解决微小聚焦区域误判的问题，新构建为端到端的交错输入伪孪生对抗生成网络模型，并对模型进行训练并选取融合效果最好的模型；模型搭建完成后用于多聚焦图像融合。本发明专利技术提出的高效的多聚焦图像融合模型，与其他先进模型相比，本发明专利技术融合效果有了明显提升。本发明专利技术融合效果有了明显提升。本发明专利技术融合效果有了明显提升。

【技术实现步骤摘要】
一种高效的多聚焦图像融合方法及其模型搭建方法


[0001]本专利技术属于计算机视觉
，尤其涉及一种高效的多聚焦图像融合方法及其模型搭建方法。

技术介绍

[0002]在图像处理的过程中，完全聚焦的图像是十分必要的，然而由于相机景深的限制往往不能得到完全聚焦的图像。多聚焦图像融合旨在解决由于相机景深（DOF）有限导致图像不能全部聚焦的问题，对于各种图像类任务有着举足轻重的作用。几十年来，研究人员提出了各种方法进行多聚焦图像融合，传统的多聚焦图像融合方法大致分为两类：基于空间域和基于变换域。关于基于变换域的算法，通常的想法是将源图像转换到另一个特征域中。一般来说，融合过程包括三个步骤：首先，将源图像分解为多尺度的子图像；然后根据一定的融合准则对这些不同层次的分解系数进行融合；最后，可以通过利用逆变换来产生融合结果。变换域的选择和融合标准是基于变换域的算法的两个重要因素。基于变换域的方法通常不能通过生成决策图来获得全焦图像，而且与源图像中的聚焦区域相比，仍然存在一些色差。基于空间域的方法就是在空间域上对图像进行融合，它可以进一步分为三类：基于像素，基于块，基于区域。基于空间域的方法中广泛使用的基于补丁的策略会导致边界附近的细节损失，这很容易使焦点和非焦点的小区域以及边界都变得模糊不清。
[0003]尽管这些最近的先进算法取得了吸引人的性能，但它们利用手工制作的特征和融合标准来完成融合任务，限制了融合效果，因为从某种角度来看，将所有必要的因素组合在一起进行理想设计几乎是不可能的。近些年随着深度学习在计算机视觉领域的发展，许多研究者将深度学习方法用来解决多聚焦图像融合问题，主流的基于深度学习方法的框架包括卷积神经网络和生成对抗网络。其中基于卷积神经网络的框架可以通过使用训练数据集进行学习来生成初步决策图，或者采用多尺度输入方式训练卷积神经网络。尽管这些方法的性能令人印象深刻，但结果也在聚焦和散焦区域之间的边界附近出现了一些误判现象。这种现象背后的主要原因是它没有考虑决策图和原图像之间的匹配关系。后来，多级深度监督卷积神经网络（ML
‑
CNN）被提出，它结合了多聚焦图像融合的多级视觉特征。然而，由于缺乏准确的聚焦区域检测，它们都可能产生一些模糊的效果，最终得到的融合图像不能满足人们的实际需求，会阻碍其在后续图像处理任务中的广泛应用。

技术实现思路

[0004]针对上述问题，本专利技术第一方面提供了一种高效的多聚焦图像融合模型搭建方法，包括以下步骤：步骤1，获取原始图像及其分割图像，所述原始图像及其分割图像由下载获取或直接拍摄彩色图像并手动分割；步骤2，对步骤1中获取的原始图像进行预处理；将原始图像的彩色分割图像进行处理，得到原始图像的真实决策图，根据决策图将原始图像分成前景清晰背景模糊和背景
清晰前景模糊的两组图像，作为不同聚焦图像的训练集；步骤3，基于GAN网络结构，搭建一种端到端的交错输入伪孪生对抗生成网络模型CPS GAN模型；所述CPS GAN模型采取交错的伪孪生双路网络结构进行输入，其两个网络分支的权重不共享，每个分支可以各自接收不同的输入图像从而丰富特征提取的多样性，并在生成器的编码器中添加新的细节特征提取模块，用于增加特征提取的范围的同时保留更多的细节特征，从而区分聚焦和散焦的边界；步骤4，使用步骤2中所述的训练集对步骤3中所搭建的CPS GAN模型进行训练；步骤5，使用公共的测试集对训练后的交错输入伪孪生对抗生成网络模型进行测试，选取验证效果最好的模型作为最终模型。
[0005]优选的，所述步骤2中进行预处理的具体过程为：将原始图像的彩色分割图像转换成黑白图像，得到原始图像的真实决策图，再将原始图像经过高斯平滑处理得到，之后分别和决策图进行加权相乘，公式如下式表示：进行加权相乘，公式如下式表示：最终得到不同聚焦图像和。
[0006]优选的，所述步骤3中搭建的交错输入伪孪生对抗生成网络模型CPS GAN的具体结构为：主干的网络是基于GAN，包括生成器部分和鉴别器部分；所述生成器部分包括编码器和解码器，所述生成器用于生成尽可能逼真的决策图；所述编码器包括双端交错输入的伪孪生网络结构和细节特征提取模块，所述编码器用于提取图像中的细节特征信息；所述细节特征提取模块包括两个不同的子模块，用于扩大特征提取范围并且保留更多的细节特征；所述解码器包括转置卷积、二维卷积、组归一化层、线性整流单元和Sigmoid激活函数，所述解码器用于最终生成决策图；所述鉴别器部分包括二维卷积层、归一化层、特征压缩模块、线性整流单元和Sigmoid激活函数，所述特征压缩模块用于压缩特征，所述鉴别器用于判别决策图是生成器生成的或者是真实的决策图。
[0007]优选的，所述细节特征提取模块采用WS_block模块，包括两个子模块，WS_block_Net1模块和WS_block_Net2模块，分别应用于编码器的上下支路中；所述WS_block_Net1模块包括膨胀卷积层、组归一化层、线性整流单元和通道混洗模块，用于提取图像中的特征信息，所述通道混洗模块用于促进通道之间信息的融合，提高特征之间的相关性；所述WS_block_Net2模块包括可变形卷积层、组归一化层、线性整流单元和通道混洗模块，用于扩大特征提取范围和提取图像中的特征信息；原聚焦图像和各自经过WS_block_Net1和WS_block_Net2两个子模块后得到最终的特征，公式如下：最终的特征，公式如下：最终的特征，公式如下：和分别是原聚焦图像和的最终特征，和是原聚焦图像和经过
伪孪生网络上支路得到的特征，和是原聚焦图像和经过伪孪生网络下支路得到的特征，和是权重系数。
[0008]优选的，所述权重系数和相同，并均设置为0.5。
[0009]优选的，所述WS_block_Net1和WS_block_Net2两个上下支路子模块后边均连接一个残差块，用于稳定训练和优化网络；所述残差块包括一个卷积核大小为3、步长为1、填充为1的二维卷积，后面连接一个渗漏线性整流单元LR，再连接一个卷积核大小为3、步长为1、填充为1的二维卷积，最后的输入还包括一个初始激励；所述残差块的输入通道数是256，输出通道数也是256。
[0010]优选的，所述步骤3中所搭建的CPS GAN模型在训练过程中将最小化生成器和鉴别器损失作为训练目标，其计算公式如下：器损失作为训练目标，其计算公式如下：其中表示输入的源图像和，表示输入图像的数据空间，是真实的决策图,是梯度惩罚用于稳定鉴别器的训练，是均绝对误差，用于稳定生成器的训练，和是权重系数，用于衡量对损失函数的影响，其计算公式如下：是权重系数，用于衡量对损失函数的影响，其计算公式如下：其中是沿F和生成的决策图之间的直线均匀采样，表示L2范数。
[0011]本专利技术第二方面提供了一种高效的多聚焦图像融合方法，包括以下过程：获取包含有不同聚焦的图像；将不同聚焦的图像输入到如第一方面所述的搭建方法所搭建的多聚焦图像融合模型中；输出融合后的聚焦图像。
[0012]本专利技术第三方面还提供了一种高效的多聚焦图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高效的多聚焦图像融合模型搭建方法，其特征在于，包括以下步骤：步骤1，获取原始图像及其分割图像，所述原始图像及其分割图像由下载获取或直接拍摄彩色图像并手动分割；步骤2，对步骤1中获取的原始图像进行预处理；将原始图像的彩色分割图像进行处理，得到原始图像的真实决策图，根据决策图将原始图像分成前景清晰背景模糊和背景清晰前景模糊的两组图像，作为不同聚焦图像的训练集；步骤3，基于GAN网络结构，搭建一种端到端的交错输入伪孪生对抗生成网络模型CPS GAN模型；所述CPS GAN模型采取交错的伪孪生双路网络结构进行输入，其两个网络分支的权重不共享，每个分支可以各自接收不同的输入图像从而丰富特征提取的多样性，并在生成器的编码器中添加新的细节特征提取模块，用于增加特征提取的范围的同时保留更多的细节特征，从而区分聚焦和散焦的边界；步骤4，使用步骤2中所述的训练集对步骤3中所搭建的CPS GAN模型进行训练；步骤5，使用公共的测试集对训练后的交错输入伪孪生对抗生成网络模型进行测试，选取验证融合效果最好的模型作为最终模型。2.如权利要求1所述的一种高效的多聚焦图像融合模型搭建方法，其特征在于，所述步骤2中进行预处理的具体过程为：将原始图像的彩色分割图像转换成黑白图像，得到原始图像的真实决策图，再将原始图像经过高斯平滑处理得到，之后分别和决策图进行加权相乘，公式如下式表示：进行加权相乘，公式如下式表示：最终得到不同聚焦图像和。3.如权利要求1所述的一种高效的多聚焦图像融合模型搭建方法，其特征在于，所述步骤3中搭建的交错输入伪孪生对抗生成网络模型CPS GAN的具体结构为：主干的网络是基于GAN，包括生成器部分和鉴别器部分；所述生成器部分包括编码器和解码器，所述生成器用于生成决策图；所述编码器包括双端交错输入的伪孪生网络结构和细节特征提取模块，所述编码器用于提取图像中的细节特征信息；所述细节特征提取模块包括两个不同的子模块，用于扩大特征提取范围并且保留更多的细节特征；所述解码器包括转置卷积、二维卷积、组归一化层、线性整流单元和Sigmoid激活函数，所述解码器用于最终生成决策图；所述鉴别器部分包括二维卷积层、归一化层、特征压缩模块、线性整流单元和Sigmoid激活函数，所述特征压缩模块用于压缩特征，所述鉴别器用于判别决策图是生成器生成的或者是真实的决策图。4.如权利要求1所述的一种高效的多聚焦图像融合模型搭建方法，其特征在于，所述细节特征提取模块采用WS_block模块，包括两个子模块，WS_block_Net1模块和WS_block_Net2模块，分别应用于编码器的上下支路中；所述WS_block_Net1模块包括膨胀卷积层、组归一化层、线性整流单元和通道混洗模块，用于提取图像中的特...

【专利技术属性】
技术研发人员：付民，张广振，刘雪峰，闵健，郑冰，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：