一种基于深度学习的多模态医学图像融合方法技术

本发明专利技术公开了一种基于深度学习的多模态医学图像融合方法，属于医学图像分析领域，包括：输入三种不同模态的医学图像；其中多模态医学图像根据成像特征可分为解剖图像和功能图像，分别对解剖图像进行高、低频特征信息提取，对功能图像同时进行高、低频特征信息提取；对解剖图像的特征信息进行频域转换，得到频域特征信息；将频域特征信息与功能图像中提取的空间特征信息进行融合，基于融合结果输出融合图像。本发明专利技术通过以上技术方案，可以实现精确对应各模态精确提取特征信息的三模态医学图像融合。像融合。像融合。

【技术实现步骤摘要】
一种基于深度学习的多模态医学图像融合方法


[0001]本专利技术属于医学图像分析领域，特别是涉及一种基于深度学习的多模态医学图像融合方法。

技术介绍

[0002]现代医学图像对疾病的准确诊断往往需要使用多模态医学图像，如计算机断层扫描(CT)、磁共振成像(MRI)、正电子发射断层扫描(PET)、单光子发射计算机断层扫描(SPECT)，它们反映了不同的医疗信息。两个或更多的图像被融合成一个，以补充彼此的信息，这有助于帮助医生定位疾病类型、病灶和病变。
[0003]图像融合算法可大致分为两类：传统方法和基于深度学习的方法。传统的方法主要是使用各种数学和统计工具来优化算法。不同的传统方法都各有其优点，但无法获得图像的深层特征。近年来，基于深度学习的图像融合方法得到了快速的发展和广泛的应用，但现有的模型缺乏泛化能力，只能有效地融合特定类型的图像，而且大部分模型受到两种模态图像融合的限制，效果不理想。
[0004]目前大多数医学图像上的多模态图像融合都基于两模态融合，在实际临床应用的图像处理软件和放射治疗规划系统中，也局限于两种模态图像的融合和显示。但是现有技术中，医学图像上的两模态图像融合无法同时产生多个参数，如区分组织、血流、代谢和位置，无法区分术后病变和脑胶质瘤中残留的肿瘤，无法提高肿瘤轮廓的准确性，最终导致目标定位不准确，观察者之间的差异很大，融合两种以上模态医学图像有利于更清晰地对病灶组织定量、定性和定位。

技术实现思路

[0005]本专利技术的目的是提供一种基于深度学习的多模态医学图像融合方法，以解决上述现有技术存在的问题。
[0006]为实现上述目的，本专利技术提供了一种基于深度学习的多模态医学图像融合方法，包括以下步骤：
[0007]获取多模态医学图像；其中所述多模态图像包括解剖图像和功能图像，所述解剖图像包括第一解剖图像和第二解剖图像；
[0008]对所述第一解剖图像和所述功能图像分别进行高频特征提取，得到第一高频特征信息和第二高频特征信息；
[0009]对所述第二解剖图像和所述功能图像分别进行低频特征提取，得到第一低频特征信息和第二低频特征信息；
[0010]对所述解剖图像的特征信息进行频域转换，得到频域特征信息；其中所述频域特征信息包括第一高频频域信息和第一低频频域信息；
[0011]将所述频域特征信息与功能特征信息进行融合，基于融合结果输出融合图像；其中所述功能特征信息包括第二高频特征信息和第二低频特征信息。
[0012]优选地，获取多模态医学图像之前的过程包括：
[0013]获取多模态医学图像的训练集，构建卷积神经网络，通过所述训练集训练所述卷积神经网络，基于训练好的卷积神经网络，匹配多模态医学图像。
[0014]优选地，得到第一高频特征信息和第二高频特征信息的过程包括：
[0015]基于训练好的卷积神经网络，通过卷积操作、批处理归一化，对所述第一解剖图像进行高频特征提取，得到第一高频特征信息；
[0016]基于训练好的卷积神经网络，通过卷积操作、批处理归一化，对所述功能图像进行高频特征提取，得到第二高频特征信息。
[0017]优选地，得到第一低频特征信息和第二低频特征信息的过程包括：
[0018]基于训练好的卷积神经网络，通过卷积操作、批处理归一化及改变卷积通道，对所述第二解剖图像进行低频特征提取，得到第一低频特征信息；
[0019]基于训练好的卷积神经网络，通过卷积操作、批处理归一化及改变卷积通道，对所述功能图像进行低频特征提取，得到第二低频特征信息。
[0020]优选地，得到频域特征信息的过程包括：
[0021]将所述解剖图像的特征信息从空间域转换到频率域，并转换为振幅值和不同频率下的相位，得到频域特征信息。
[0022]优选地，将所述解剖图像的特征信息从空间域转换到频率域的过程还包括：
[0023]将所述解剖图像提取的高、低频信息转换为能量梯度，消除周期性噪声。
[0024]优选地，将所述频域特征信息与功能特征信息进行融合的过程包括：
[0025]将所述第一高频频域信息和所述第二高频特征信息进行融合求平均操作，得到高频融合信息；
[0026]将所述第一低频频域信息和所述第二低频特征信息进行融合求平均操作，得到低频融合信息。
[0027]优选地，输出融合图像的过程包括：
[0028]基于所述高频融合信息和所述低频融合信息，通过均值计算、卷积操作、Tanh函数处理，输出融合图像。
[0029]本专利技术的技术效果为：
[0030]本专利技术根据医学图像中解剖图像和功能图像的信息特征，将提取的图像特征信息从空间域转换到频率域，可以实现精确对应各模态精确提取特征信息的三模态医学图像融合。本专利技术提供了一种基于深度学习的多模态医学图像融合方法，本专利技术能够产生多个参数，基于多个参数能够准确区分术后病变和脑胶质瘤中残留的肿瘤，同时能够提高肿瘤轮廓的准确性，本专利技术提供的图像融合方法，有利于准确定位目标，使观察者之间的差异减小。
附图说明
[0031]构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0032]图1为本专利技术实施例中的融合过程示意图；
[0033]图2为本专利技术实施例中的局部细节特征提取模块示意图；
[0034]图3为本专利技术实施例中全局纹理特征提取模块示意图；
[0035]图4为本专利技术实施例中的流程图。
具体实施方式
[0036]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0037]需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0038]实施例一
[0039]如图1，图4所示，本实施例中提供一种基于深度学习的多模态图像融合方法，包括以下步骤：
[0040]获取多模态图像；其中多模态图像包括解剖图像和功能图像，解剖图像包括第一解剖图像和第二解剖图像；
[0041]对第一解剖图像和功能图像分别进行高频特征提取，得到第一高频特征信息和第二高频特征信息；
[0042]对第二解剖图像和功能图像分别进行低频特征提取，得到第一低频特征信息和第二低频特征信息；
[0043]对解剖图像的特征信息进行频域转换，得到频域特征信息；其中频域特征信息包括第一高频频域信息和第一低频频域信息；
[0044]将频域特征信息与功能特征信息进行融合，基于融合结果输出融合图像；其中功能特征信息包括第二高频特征信息和第二低频特征信息。
[0045]在一些实施例中，获取多模态图像之前还过程包括：获取多模态图像的训练集，构本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的多模态医学图像融合方法，其特征在于，包括以下步骤：获取多模态医学图像；其中所述多模态医学图像包括解剖图像和功能图像，所述解剖图像包括第一解剖图像和第二解剖图像；对所述第一解剖图像和所述功能图像分别进行高频特征提取，得到第一高频特征信息和第二高频特征信息；对所述第二解剖图像和所述功能图像分别进行低频特征提取，得到第一低频特征信息和第二低频特征信息；对所述解剖图像的特征信息进行频域转换，得到频域特征信息；其中所述频域特征信息包括第一高频频域信息和第一低频频域信息；将所述频域特征信息与功能特征信息进行融合，基于融合结果输出融合图像；其中所述功能特征信息包括第二高频特征信息和第二低频特征信息。2.根据权利要求1所述的基于深度学习的多模态医学图像融合方法，其特征在于，获取多模态医学图像之前还过程包括：获取多模态医学图像的训练集，构建卷积神经网络，通过所述训练集训练所述卷积神经网络，基于训练好的卷积神经网络，匹配多模态医学图像。3.根据权利要求2所述的基于深度学习的多模态医学图像融合方法，其特征在于，得到第一高频特征信息和第二高频特征信息的过程包括：基于训练好的卷积神经网络，通过卷积操作、批处理归一化，对所述第一解剖图像进行高频特征提取，得到第一高频特征信息；基于训练好的卷积神经网络，通过卷积操作、批处理归一化，对所述功能图像进行高频特征提取，得到第二高频特征信息。4.根据权利要求1所述的基于深度学习的多模态医学图像融...

【专利技术属性】
技术研发人员：方美娥，姚丹阳，温金玉，
申请(专利权)人：广州大学，
类型：发明
国别省市：