一种模态合成与增强的弱监督医学图像融合方法技术

本发明专利技术属于图像融合技术领域，具体涉及一种模态合成与增强的弱监督医学图像融合方法。针对多模态图像融合需要患者多次成像造成的对人体伤害和花费大、图像融合需配准大量成对数据集，时间长、难度大以及融合图像纹理及精细结构不够清晰的问题，本发明专利技术提出了基于CycleGAN与OctopusNet的模态合成与增强的弱监督医学图像融合方法，该方法由模态合成、图像增强与图像融合三部分组成。像增强与图像融合三部分组成。像增强与图像融合三部分组成。

【技术实现步骤摘要】
一种模态合成与增强的弱监督医学图像融合方法


[0001]本专利技术属于图像融合
，具体涉及一种模态合成与增强的弱监督医学图像融合方法。

技术介绍

[0002]随着医学成像的不断发展，医学图像成为了疾病诊断的有效工具。如今医学图像有多种模态，如磁共振(MR)图像、计算机断层扫描(CT)图像、正电子发射断层扫描(PET)图像等，且不同的模态均有其自身的优点和局限性。例如，CT图像能很好地显示骨骼信息，但是不能清晰地表征软组织等结构信息；MR图像能充分显示软组织信息，但其对骨骼信息的表征有很大缺陷；PET图像可为临床提供丰富的人体代谢信息，但分辨率较低。因此，将来自CT、MR、PET三模态的图像信息整合到一个图像中，完成多模态图像融合，可以实现优势互补。多模态融合图像既保留了原始图像的特征，又弥补了单模态医学图像的缺陷，展示了丰富的细节信息，为临床诊断治疗提供了有效的依据。
[0003]近年来，深度学习以其强大的特征提取能力在模态合成、图像融合、图像分割等图像处理领域得到了广泛的应用，并取得了良好的结果。其中，卷积神经网络(CNN)作为深度学习的代表方法，在图像融合领域发挥着越来越重要的作用。生成对抗网络(GAN)同样作为一种深度学习方法，通过生成模块与鉴别模块的相互博弈产生输出，这种相互博弈的过程提高了图像特征提取的准确性，使融合图像保留更多源图像信息。但以上方法均为有监督训练方式，在网络训练过程中需要大量配准好的成对数据集进行模型训练，然而在图像配准过程中需花费大量时间及人力成本。
[0004]另外，在实际医学诊断过程中，获取多模态融合图像需要患者进行多次医学成像拍摄。但医学成像拍摄中产生的高辐射，会对人体造成危害，且医学成像价格高，患者需要大量花费。所以从实际角度出发，引入一种既能降低医学成像对人体的危害，又能减少花费的多模态医学图像融合方法非常必要。模态合成作为一种图像处理技术，可以完成由单一模态图像合成为另一模态图像。CT、MR图像作为常见的模态，含有丰富的特征信息，将具有较多纹理细节信息的MR图像合成细节信息较少的CT图像比由CT图像合成为MR图像能保留更多图像信息。因此引入模态合成作为图像融合的基础，减少图像融合过程中输入图像的模态，可以减少病人的成像次数，降低医学图像对人体的危害，节省患者的医疗费用。
[0005]在现有基于深度学习的图像融合方法中，如Li等人提出了基于CNN的DenseFuse融合方法与Zhang等人提出的IFCNN融合方法均具有良好的特征融合能力，但以上两种方法特征提取过程准确性不高，缺乏对医学图像纹理细节信息的针对性。Zhou等人提出了一种基于GAN网络的Hi
‑
Net混合融合网络，有效提高了图像的融合性能，但对精细结构的表征仍不够清晰。
[0006]随着近年来生成对抗网络的兴起，其在模态合成领域中也取得了显著成果。Nie等人提出了基于GAN网络的单一生成器与鉴别器的模态合成方法，通过对抗性学习生成逼真的合成图像，合成图像与目标预测图像相比虽具有良好的结构特征，但是图像细节模糊，未
能良好地表征图像纹理细节。Wang等人为了使合成图像保留更多细节特征，提出了一种基于自动上下文的GAN网络合成方法，利用自动上下文方式从源图像中提取更多图像特征，使关键信息在合成图像中得以加强，但合成图像对纹理细节信息和精细结构表征的清晰度仍有待提高。Zhu等人提出了使用双生成器与双鉴别器基于无监督的循环一致性生成对抗网络(CycleGAN)，使合成图像对细节信息表征的清晰度显著提高，但对精细结构的表征仍不够清晰。Jiang等人提出了一种双生成器结构(全局
‑
局部生成器)模态合成网络，两生成器分别用于学习与呈现全局信息即图像结构信息，以及用于细节即图像纹理和精细结构的增强，使合成图像在全局结构表征完整的同时还增强了图像细节，但其对纹理细节与精细结构的表征具有不稳定性。
[0007]因此，针对多模态图像融合需要患者多次成像造成的对人体伤害和花费大、图像融合需配准大量成对数据集，时间长、难度大以及融合图像纹理及精细结构不够清晰的问题，本专利技术提出了基于CycleGAN与OctopusNet的模态合成与增强的弱监督医学图像融合方法。

技术实现思路

[0008]针对上述问题本专利技术提供了一种基于CycleGAN与OctopusNet的模态合成与增强的弱监督医学图像融合方法。
[0009]为了达到上述目的，本专利技术采用了下列技术方案：
[0010]一种模态合成与增强的弱监督医学图像融合方法，由模态合成、图像增强和图像融合三部分组成，包括以下步骤：
[0011]步骤1，在模态合成部分，MR图像通过多生成器模态合成网络训练得到的生成器，生成深层结构合成图s
CT_stru
与浅层细节合成图s
CT_det
；
[0012]步骤2，在图像增强部分，MR图像通过双生成器图像增强网络训练得到的生成器，生成深层结构增强图s
MR_stru
与浅层细节增强图s
MR_det
；
[0013]步骤3，在图像融合部分，以s
CT_stru
、s
CT_det
、s
MR_stru
、s
MR_det
和原始PET图像共同作为输入，通过多模态图像融合生成对抗网络，获得CT、MR、PET三模态融合图像。
[0014]进一步，所述模态合成部分包括两个阶段：模态合成训练和模态合成预测；在所述模态合成训练阶段，多生成器模态合成网络以CycleGAN为基础，将生成器分为由MR合成CT图像的深层结构生成器G
CT_deep
和浅层细节生成器G
CT_shallow
以及由CT合成MR图像的深层结构生成器G
MR_deep
和浅层细节生成器G
MR_shallow
，通过4个生成器与模态合成鉴别器D
CT
、D
MR
的相互对抗循环训练网络，不断对图像深层结构与浅层细节特征提取并提高生成器图像合成性能；在所述模态合成预测阶段，MR图像作为输入，通过训练好的MR合成CT图像的深层结构生成器G
CT_deep
和浅层细节生成器G
CT_shallow
，生成深层结构合成图s
CT_stru
与浅层细节合成图s
CT_det
。
[0015]进一步，所述模态合成训练阶段采用弱监督方式训练网络，以少量成对数据集与大量非成对数据集为训练数据，通过少量成对CT、MR图像提高对图像结构及纹理细节、精细结构的针对性；大量非成对CT、MR图像减少配准难度与时间。模态合成作为图像融合的基础，解决了图像融合需要已配准的成对数据，而获得大量成对数据集时间长、难度大的问题。
[0016]具体训练过程如下：
[0017]MR图像作为训练数据，输入到G
C本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模态合成与增强的弱监督医学图像融合方法，其特征在于，由模态合成、图像增强和图像融合三部分组成，包括以下步骤：步骤1，在模态合成部分，MR图像通过多生成器模态合成网络训练得到的生成器，生成深层结构合成图s
CT_stru
与浅层细节合成图s
CT_det
；步骤2，在图像增强部分，MR图像通过双生成器图像增强网络训练得到的生成器，生成深层结构增强图s
MR_stru
与浅层细节增强图s
MR_det
；步骤3，在图像融合部分，以s
CT_stru
、s
CT_det
、s
MR_stru
、s
MR_det
和原始PET图像共同作为输入，通过多模态图像融合生成对抗网络，获得CT、MR、PET三模态融合图像。2.根据权利要求1所述的一种模态合成与增强的弱监督医学图像融合方法，其特征在于，所述模态合成部分包括两个阶段：模态合成训练和模态合成预测；在所述模态合成训练阶段，多生成器模态合成网络以CycleGAN为基础，将生成器分为由MR合成CT图像的深层结构生成器G
CT_deep
和浅层细节生成器G
CT_shallow
以及由CT合成MR图像的深层结构生成器G
MR_deep
和浅层细节生成器G
MR_shallow
，通过4个生成器与模态合成鉴别器D
CT
、D
MR
的相互对抗循环训练网络，不断对图像深层结构与浅层细节特征提取并提高生成器图像合成性能；在所述模态合成预测阶段，MR图像作为输入，通过训练好的MR合成CT图像的深层结构生成器G
CT_deep
和浅层细节生成器G
CT_shallow
，生成深层结构合成图s
CT_stru
与浅层细节合成图s
CT_det
。3.根据权利要求2所述的一种模态合成与增强的弱监督医学图像融合方法，其特征在于，所述模态合成训练阶段采用弱监督方式训练网络，具体训练过程如下：MR图像作为训练数据，输入到G
CT_deep
和G
CT_shallow
，生成CT深层结构合成图S
CT_structure
与CT浅层细节合成图S
CT_details
，CT图像同样作为训练数据输入到G
MR_deep
和G
MR_shallow
，生成MR深层结构合成图S
MR_structure
与MR浅层细节合成图S
MR_details
；而后S
CT_structure
与S
CT_details
继续进入G
MR_deep
和G
MR_shallow
，S
MR_structure
与S
MR_details
继续输入G
CT_deep
和G
CT_shallow
循环训练网络，通过G
CT_deep
、G
CT_shallow
与D
CT
，G
MR_deep
、G
MR_shallow
与D
MR
的相互对抗，使生成器的模态合成性能得以提高。4.根据权利要求2所述的一种模态合成与增强的弱监督医学图像融合方法，其特征在于，所述MR合成CT图像的深层结构生成器G
CT_deep
和CT合成MR图像的深层结构生成器G
MR_deep
均由编码、转换和解码三部分组成；所述编码部分由2个卷积层Conv6、Conv7组成，其中卷积层Conv6代表一个7
×
7、有k个滤波器且步长为1的Convolution
‑
InstanceNorm
‑
ReLU层；卷积层Conv7为一个3
×
3、有k个滤波器且步长为2的Convolution
‑
InstanceNorm
‑
ReLU层；所述转换部分由9个Residualblock组成，所述解码部分由1个反卷积层DeConv4和1个卷积层Conv8组成，DeConv4为一个3
×
3、有k个滤波器且步长为1/2的fractional
‑
strided
‑
Convolution
‑
InstanceNorm
‑
ReLU层；Conv8代表一个7
×
7、有k个滤波器且步长为1的Convolution
‑
InstanceNorm
‑
ReLU层；所述MR合成CT图像的浅层细节生成器G
CT_shallow
和CT合成MR图像的浅层细节生成器G
MR_shallow
由编码、转换和解码三部分组成；所述编码部分由2个卷积层Conv6，Conv7组成，其中Conv6代表一个7
×
7、有k个滤波器且步长为1的Convolution
‑
InstanceNorm
‑
ReLU层，Conv7为一个3
×
3、有k个滤波器且步长为2的Convolution
‑
InstanceNorm
‑
ReLU层；所述转换部分由9个Residual block组成；所述解码部分由1个反卷积层DeConv4和1个卷积层Conv8组成，其中反卷积层DeConv4为一个3
×
3、有k个滤波器且步长为1/2的fractional
‑
strided
‑
Convolution
‑
InstanceNorm
‑
ReLU层，卷积层Conv8代表一个7
×
7、有k个滤波器且步长为1的Convolution
‑
InstanceNorm
‑
ReLU层。5.根据权利要求3所述的一种模态合成与增强的弱监督医学图像融合方法，其特征在于，所述G
CT_deep
、G
CT_shallow
与D
CT
，G
MR_deep
、G
MR_shallow
与D
MR
的相互对抗具体为：(1)通过对抗性损失与循环一致性损失，学习增强深层结构信息的X
MR
与Y
CT
域、浅层细节信息的X
′
MR
与Y
′
CT
域；(2)网络包括四个映射函数：G:X
MR
→
Y
CT
、F:Y
CT
→
X
MR
、M:X
′
MR
→
...

【专利技术属性】
技术研发人员：王丽芳，刘阳，米嘉，张炯，
申请(专利权)人：中北大学，
类型：发明
国别省市：