一种多模态医学图像融合方法技术

本发明专利技术公开了一种多模态医学图像融合方法，包括如下步骤：1)源图像分解：将至少2个源图像分别进行两级分解离散平稳小波变换，2)源图像融合：通过7个增强径向基函数神经网络将至少2个源图像进行融合，3)逆小波变换：通过逆小波变换，将7个融合子带变换为融合图像。本发明专利技术的有益效果是：通过平移不变多尺度变换算子，不仅提供了足够的方向信息，而且算法相对简单而易于操作。为了增强神经网络的自我学习能力，结合医学图像融合，我们采用像素值，区域能量，像素梯度和区域平均梯度来形成神经网络的输入层，精准提取目标特征点的信息，同是避免造成信息损失。

【技术实现步骤摘要】
一种多模态医学图像融合方法
本专利技术涉及图像融合
，具体涉及一种基于离散平稳小波变换和增强径向基函数神经网络的多模态医学图像融合方法。
技术介绍
图像融合技术是通过某种技术或者方式将不同的源图像合成为新图像。该过程不是简单地叠加所有图像数据，而是通过一种或多种算法对目标图像执行针对性的目标分析和处理。对于，多模态的医学图像融合，是将来自不同成像设备的两个(或多个)医学图像进行组合，通过使用某种算法来分析每个图像的优势或互补性，从而进一步将获得有效信息进行融合处理。随着医学成像技术的发展，计算机断层扫描(Computedtomography，CT)，磁共振成像(Magneticresonanceimaging，MRI)，正电子发射断层扫描(Positronemissiontomography，PET)，单光子发射计算机断层扫描(Singlephotonemissioncomputedtomography，SPECT)等成像技术已广泛用于临床诊断和治疗。不同的成像模式可以为医生提供不同的医学信息。例如，CT图像具有较高的空间分辨率，清晰的骨成像能力，并为病变的定位提供了很好的参考。但是，CT图像对软组织细节(甚至是浸润性肿瘤细节)的显示不是很敏感。相反，在MRI中，软组织成像清晰，有利于病变范围的确定；PET和SPECT成像可以为人体的新陈代谢提供清晰的功能信息。但是，由于功能影像的空间分辨率低，因此可能会限制针对肿瘤病理性质的诊断。简而言之，不同的成像原理将导致成像信息的局限性，单独使用某种类型的图像的效果有时并不理想。因此，通过医学影像融合技术将不同成像方法的优势和互补信息相结合，可以为医学疾病的诊治规划提供更加充分有效的信息基础。常规的方法大多通过多尺度变换获得了不同的图像特征信息，但是当子带被融合时，不同的频率分量将通过相同或简单的融合规则进行处理。仅考虑图像的一个或者极少的特征，而忽略剩余重要特征，这会严重降低融合效果。随着，不同融合规则不断地被提出，但是由于各自所建立的规则的局限性依然存在，它们无法融合最佳的细节和轮廓信息。更糟糕的是，由于涉及下采样和上采样，因此有时不可避免地会出现伪影问题。另外，在一些不涉及采样的变换中，由于不同滤波器的参数性能差异很大，因此融合效果的稳定性受参数选择的影响很大。针对涉及神经网络的方法，像基于PCNN方法是在全局域下处理的，将其应用于图像融合领域可以保留更多详细信息。然而，如何有效地刺激神经元而无需训练就可以最大程度地发挥其作用现如今还是一个巨大的挑战。因此，基于PCNN的融合算法很多，但是系数的优化和阈值的定义仍在研究中。基于CNN的方法已成为解决医学图像融合问题的热点。但是深度神经网络训练量大，或者小的样本训练数据不足以维持神经网络的性能。而且，CNN中涉及的采样或卷积操作在基于多尺度域的融合过程中很容易导致信息丢失。总体而言，当今医学图像融合的主要研究方向是在基于频移不变的多尺度变换的基础上，在每个频段上建立特定的融合规则。但是，如何找到最合适的融合规则的问题尚未得到很好的解决。因此，本专利技术旨在不涉及上下采样的情况下，通过特征点先验的网络架构提取更精准的特征，同是考虑训练成本，做到精准快速提取以及高智能性融合，尽最大可能减少有用信息细节损失，提高融合图像质量的上限。
技术实现思路
针对现有技术中存在的问题，本专利技术提供了一种通用型的基于特征点先验的前馈型神经网络的融合技术，以解决待融合图像有用微小信息提取不全且易丢失这一技术难点。本专利技术的技术方案如下：一种多模态医学图像融合方法，包括如下步骤：1)源图像分解：将至少2个源图像分别进行两级分解离散平稳小波变换，其中每个源图像分解后得到LL2，LH1，HL1，HH1，LH2，HL2，HH2，其中LL表示低频信息，LH水平方向上的细节信息，HL垂直方向上的细节信息，HH对角线方向上的细节信息；2)源图像融合：将源图像中相应的7对子带特征信息通过7个增强径向基函数神经网络进行融合；其中相应的一对子带特征信息代入到同1个增强径向基神经网络中进行融合；3)逆小波变换：通过逆小波变换，将7个融合子带变换为融合图像；4)应用自适应梯度下降算法和重力搜索算法的结合，精确提取和学习源信息，从而获得高质量融合图像。所述的一种多模态医学图像融合方法，其特征在于，所述步骤2)中的增强径向基神经网络包括输入层中的4N个神经元、隐藏层中的40个神经元及输出层中的1个神经元，其中N表示源图像个数，4N个神经元来形成输入层，输入变量具有4N个维度。所述的一种多模态医学图像融合方法，其特征在于，所述步骤2)具体过程如下：在对子带中处于相同位置的像素进行融合时，其中，输入层的第A1维、...、第Ai维代表相应的像素值，其中Ai＝4(i-1)+1；i＝N随后，对于某一子带中要处理的像素点，以该点为中心选择大小为5×5的区域，然后获得该区域的区域能量E，方程(1)如下所示：其中A(x，y)表示点(x，y)处的小波系数值；同样，也可以得出相匹配子带的相同位置像素点区域能量，然后分别将它们代入为第B1维、...、第Bi维,其中Bi＝4(i-1)+2；选择第C1维、...第Ci维，其中Ci＝4(i-1)+3；采用要处理像素点的梯度，梯度G的表达式如方程(2)所示；最后，针对选定的相匹配区域，计算每个区域的平均梯度，相应的平均梯度值划分为输入层的第D1维、...、第Di维，其中Di＝4(i-1)+4；平均梯度MG如等式(3)所示；所述的一种多模态医学图像融合方法，其特征在于，所述步骤1)中源图像采用2-5个。所述的一种多模态医学图像融合方法，其特征在于，所述步骤4)具体步骤如下：4.1)通过GDM，建立原始系数集。4.2)通过适应度函数得到系数集的质量，并选出最优；4.3)分别计算系数所受引力，所受加速度，进一步更新系数集的速度和位置；4.4)与最优系数进行比较，择优后返回步骤4.2)进行迭代处理；4.5)满足预设迭代次数后，在最新系数集和之前所选最优系数中选出最终最优系数。本专利技术的有益效果是：通过平移不变多尺度变换算子，不仅提供了足够的方向信息，而且算法相对简单而易于操作。在此基础上，应用基于像素级操作机制的RBFNN，不需要像基于块级的深度卷积神经网络(CNN)这样的庞大训练数据。为了增强神经网络的自我学习能力，结合医学图像融合，我们采用像素值，区域能量，像素梯度和区域平均梯度来形成神经网络的输入层，精准提取目标特征点的信息，同是避免造成信息损失，将源像素的特征属性和所在特定区域属性组合到另一个源图像相应位置中，达到1+1≥2的效果。最终通过训练学习，融合出高信息呈现度图像。附图说明图1为本专利技术的源图像分解结构示意图；图2为本专利技术的增强径向基函数神经网络结构图；图3为本专利技术的自适应梯度下降算法和重力搜索算法的结合流程图。具本文档来自技高网...

【技术保护点】
1.一种多模态医学图像融合方法，其特征在于，包括如下步骤：/n1)源图像分解：将至少2个源图像分别进行两级分解离散平稳小波变换，其中每个源图像分解后得到LL2，LH1，HL1，HH1，LH2，HL2，HH2，其中LL2表示第二级小波分解低频信息，LH1表示第一级小波分解水平方向上的细节信息，HL1表示第一级小波分解垂直方向上的细节信息，HH1表示第一级小波分解对角线方向上的细节信息，LH2表示第二级小波分解水平方向上的细节信息，HL2表示第二级小波分解垂直方向上的细节信息，HH2表示第二级小波分解对角线方向上的细节信息；/n2)源图像融合：将源图像中相应的7对子带特征信息通过7个增强径向基函数神经网络进行融合；其中相应的一对子带特征信息代入到同1个增强径向基神经网络中进行融合；/n3)逆小波变换：通过逆小波变换，将7个融合子带变换为融合图像；/n4)应用自适应梯度下降算法GDM和重力搜索算法的结合，精确提取和学习源信息，从而获得高质量融合图像。/n

【技术特征摘要】
1.一种多模态医学图像融合方法，其特征在于，包括如下步骤：
1)源图像分解：将至少2个源图像分别进行两级分解离散平稳小波变换，其中每个源图像分解后得到LL2，LH1，HL1，HH1，LH2，HL2，HH2，其中LL2表示第二级小波分解低频信息，LH1表示第一级小波分解水平方向上的细节信息，HL1表示第一级小波分解垂直方向上的细节信息，HH1表示第一级小波分解对角线方向上的细节信息，LH2表示第二级小波分解水平方向上的细节信息，HL2表示第二级小波分解垂直方向上的细节信息，HH2表示第二级小波分解对角线方向上的细节信息；
2)源图像融合：将源图像中相应的7对子带特征信息通过7个增强径向基函数神经网络进行融合；其中相应的一对子带特征信息代入到同1个增强径向基神经网络中进行融合；
3)逆小波变换：通过逆小波变换，将7个融合子带变换为融合图像；
4)应用自适应梯度下降算法GDM和重力搜索算法的结合，精确提取和学习源信息，从而获得高质量融合图像。


2.根据权利要求1所述的一种多模态医学图像融合方法，其特征在于，所述步骤2)中的增强径向基神经网络包括输入层中的4N个神经元、隐藏层中的40个神经元及输出层中的1个神经元，其中N表示源图像个数，4N个神经元来形成输入层，输入变量具有4N个维度。


3.根据权利要求2所述的一种多模态医学图像融合方法，其特征在于，所述步骤2)具体过程如下：
在对子带中处于相同位置的像素进行融合时，其中，输入层的第A1维、...、第Ai维代表...

【专利技术属性】
技术研发人员：于长斌，晁震，
申请(专利权)人：山东第一医科大学山东省医学科学院，
类型：发明
国别省市：山东;37