一种基于卷积神经网络的多尺度医学图像融合方法技术

本发明专利技术请求保护一种基于卷积神经网络的多尺度医学图像融合方法，包括步骤：S1将配准后的解剖行图像和功能型图像进行局部拉普拉斯滤波处理，分解为细节增强的多尺度近似图像和残差图像；S2将配准后的解剖型图像输入深度卷积神经网络中提取超分辨率解剖型图像；S3将超分辨率解剖型图像和功能型图像输入双分支卷积神经网络中进行卷积，得到一个权重图，结合多尺度近似图像和残差图像融合为多尺度融合图像；S4采用局部拉普拉斯的逆运算对多尺度融合图像进行重构。本发明专利技术有效解决了医学图像融合方法在伪彩图像和灰度图像融合时的颜色失真以及信息丢失等问题。

【技术实现步骤摘要】
一种基于卷积神经网络的多尺度医学图像融合方法
本专利技术属于图像处理
，特别涉及基于卷积神经网络的多尺度医学图像融合方法。
技术介绍
医学图像融合方法属于计算机视觉领域，并在医学影像和临床诊断等方面有着广泛的应用。医学图像融合方法主要分为基于单尺度的融合方法和基于多尺度的融合方法两类。相比于单尺度像素级医学图像融合方法，像素级多尺度医学图像融合方法在不同尺度子带图像上进行图像像素值的特征提取能有效地提高融合图像的质量。基于传统的多尺度融合方法中，基于高斯金字塔的金字塔变换在卷积和降采样操作中会丢失部分细节信息，无法捕捉到方向信息。采用小波变换和复小波变换进行融合，在分解过程中提供了方向信息。然而，基于小波变换的方法受到融合图像模糊的限制。基于平行六面体变换的轮廓波变换、非下采样剪切波、剪切变换等融合方法被提出。这些融合方法的重点是设计过滤器来提取更详细的信息。因此，这些方法需要更高的计算复杂度来优化参数，降低了它们的效率。近年来，深度学习在医学图像融合方面取得了优异的成绩。但是仅仅依靠深度学习来进行端到端的图像融合，难以令人满意地同时保留源图像的细节信息、色彩信息和亮度信息。并且容易产生伪影，因此结合传统算法和深度学习，利用两者的优势来完成医学图像融合更能达到令人满意的融合效果，能够获取高质量的融合图像。虽然融合方法很多，但是在实际场景下仍然存在很多挑战，例如噪声影响，待融合图像本身质量，颜色失真，图像伪影问题等。当前的基于卷积神经网络的融合方法，虽然在保留纹理和颜色信息上有很大的提高，但是由于局部拉普拉斯算法的参与，该融合方法对于实时性仍存在一定问题。
技术实现思路
本专利技术旨在解决以上现有技术的问题。提出了一种基于卷积神经网络的多尺度医学图像融合方法。本专利技术的技术方案如下：一种基于卷积神经网络的多尺度医学图像融合方法，其包括以下步骤；S1、将解剖型图像(MRI图像)和功能型图像(PET/SPECT图像)进行局部拉普拉斯滤波处理，分解为细节增强的多尺度近似图像和残差图像；S2、将解剖型图像输入20层的深度卷积神经网络中提取超分辨率解剖型图像；S3、将超分辨率解剖型图像和功能型图像输入双分支卷积神经网络中进行卷积，得到一个权重图，结合多尺度近似图像和残差图像融合为多尺度融合图像；S4、采用局部拉普拉斯的逆运算对多尺度融合图像进行重构。进一步的，所述步骤S1的图像分解以局部拉普拉斯滤波器为工具，并且仅输出三个不同尺度的解剖型图像(A)以及功能型图像(B)，分别为(A1，B1)、(A2，B2)、(A3，B3)，尺寸分别为：256×256、128×128、64×64。进一步的，所述S2的超分辨率图像S直接通过叠加深度卷积神经网络VDSR提取出的特征图F和卷积过程中的残差图像R得到，计算公式为：S＝F+R。进一步的，所述步骤S3的权重图是将配准后的超分辨率解剖型图像和源功能型图像输入到双分支卷积神经网络中得到，该权重图与源图像大小一致，其像素点在0到1之间，代表选取该点像素值的概率；所述步骤S3的多尺度融合图像是通过将分解后的多尺度图像与高斯分解后的权重图进行权重分配后得到。进一步的，所述步骤S4采用局部拉普拉斯的逆运算，将多个尺度的融合图像还原为原尺寸的融合图像。本专利技术的优点及有益效果如下：本专利技术将医学图像利用深度卷积神经网络进行图像增强，并输入到双分支卷积神经网络中生成权重图，使得到的权重图具有更好的鲁棒性，更有利于像素分配，然后使用局部拉普拉斯滤波器来对图像进行多尺度的分解，分解过程中该滤波器会对图像进行增强，此举避免了图像在分解过程中丢失梯度信息和亮度，可以更好的保留源图像中的纹理和边缘信息，利用权重图和分解后的图像来进行融合再使用局部拉普拉斯逆运算进行重构，将多个尺度的子图像完整还原为原尺度，最终我们的方法可以很好的保留源图像中的细节和纹理信息以及颜色信息获得更有利于临床诊断的融合图像。附图说明图1是本专利技术提供优选实施例基于卷积神经网络的多尺度医学图像融合的流程图；表1是与其他主流方法比较的结果。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本专利技术的一部分实施例。本专利技术解决上述技术问题的技术方案是：如图1所示，一种基于卷积神经网络的多尺度医学图像融合方法，其包括以下步骤：S1、将配准后的解剖行图像和功能型图像进行局部拉普拉斯滤波处理，分解为细节增强的多尺度近似图像和残差图像；S2、将配准后的解剖型图像输入深度卷积神经网络中提取超分辨率解剖型图像；S3、将超分辨率解剖型图像和功能型图像输入双分支卷积神经网络(CNN)中进行卷积，得到一个权重图，结合多尺度近似图像和残差图像融合为多尺度融合图像；S4、采用局部拉普拉斯的逆运算对多尺度融合图像进行重构。进一步的，所述步骤S1的图像分解以局部拉普拉斯滤波器为工具，并且仅输出三个不同尺度的解剖型图像(A)以及功能型图像(B)，分别为(A1，B1)、(A2，B2)、(A3，B3)，尺寸分别为：256×256、128×128、64×64。进一步的，所述的一种基于卷积神经网络的多尺度医学图像融合方法，其特征在于，所述S2的超分辨率图像(S)直接通过叠加深度卷积神经网络(VDSR)提取出的特征图(F)和卷积过程中的残差图像(R)得到，计算公式为：S＝F+R进一步的，所述S3的权重图是将配准后的超分辨率解剖型图像和源功能型图像输入到双分支卷积神经网络(CNN)中得到；所述步骤三的多尺度融合图像是通过将分解后的多尺度图像与分解后的权重图进行权重分配后得到。进一步的，所述S4的最终融合结果是采用局部拉普拉斯的逆运算，将多个尺度的融合图像还原为原尺寸的融合图像得到。进一步的，表1是与其他主流方法比较的结果表1还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。以上这些实施例应理解为仅用于说明本专利技术而不用于限制本专利技术的保护范围。在阅读了本专利技术的记载的内容之后，技术人员可以对本专利技术作各种改动或修改，这些等效变化和修饰同样落入本专利技术权利要求所限定的范围。本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的多尺度医学图像融合方法，其特征在于，包括以下步骤；/nS1、将解剖型图像(MRI图像)和功能型图像(PET/SPECT图像)进行局部拉普拉斯滤波处理，分解为细节增强的多尺度近似图像和残差图像；/nS2、将解剖型图像输入20层的深度卷积神经网络中提取超分辨率解剖型图像；/nS3、将超分辨率解剖型图像和功能型图像输入双分支卷积神经网络中进行卷积，得到一个权重图，结合多尺度近似图像和残差图像融合为多尺度融合图像；/nS4、采用局部拉普拉斯的逆运算对多尺度融合图像进行重构。/n

【技术特征摘要】
1.一种基于卷积神经网络的多尺度医学图像融合方法，其特征在于，包括以下步骤；
S1、将解剖型图像(MRI图像)和功能型图像(PET/SPECT图像)进行局部拉普拉斯滤波处理，分解为细节增强的多尺度近似图像和残差图像；
S2、将解剖型图像输入20层的深度卷积神经网络中提取超分辨率解剖型图像；
S3、将超分辨率解剖型图像和功能型图像输入双分支卷积神经网络中进行卷积，得到一个权重图，结合多尺度近似图像和残差图像融合为多尺度融合图像；
S4、采用局部拉普拉斯的逆运算对多尺度融合图像进行重构。


2.根据权利要求1所述的一种基于卷积神经网络的多尺度医学图像融合方法，其特征在于，所述步骤S1的图像分解以局部拉普拉斯滤波器为工具，并且仅输出三个不同尺度的解剖型图像(A)以及功能型图像(B)，分别为(A1，B1)、(A2，B2)、(A3，B3)，尺寸分别为：256×256、12...

【专利技术属性】
技术研发人员：李伟生，黄渝萍，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆;50