一种跨模态注意力网络的多模态图像分割方法及装置制造方法及图纸

本发明专利技术公开了一种跨模态注意力网络的多模态图像分割方法及装置，方法包括：接收目标图像；其中，所述目标图像为多模态图像；将所述目标图像输入预先训练完成的跨模态注意力网络，所述跨模态注意力网络用于多模态图像分割；获得所述跨模态注意力网络输出的所述目标图像对应的目标分割图像。利用本发明专利技术实施例，能够实现多模态图像下的目标分割。能够实现多模态图像下的目标分割。能够实现多模态图像下的目标分割。

【技术实现步骤摘要】
一种跨模态注意力网络的多模态图像分割方法及装置


[0001]本专利技术属于图像处理
，特别是一种跨模态注意力网络的多模态图 像分割方法及装置。

技术介绍

[0002]虽然PET(Positron Emission Tomography)
‑
CT(Computed Tomography) 图像已经在临床上得到了广泛的应用，但肺部肿瘤的分割仍然是医学图像处理 领域的一项具有挑战性的任务。PET
‑
CT图像中肺肿瘤分割的主要困难包括以 下四点：
[0003]首先，在PET图像和CT图像中显示肺部肿瘤时，往往会出现差异。肺肿 瘤的强度在PET图像和CT图像中有很大差异。CT提供肿瘤的解剖定位，PET 提供功能和葡萄糖代谢。即使在不同的呼吸水平下使用相同的方案，PET和CT 之间的肿瘤位置也不同。PET
‑
CT图像中肺部肿瘤的形状和大小各不相同，因 为在采集两种模式图像的过程中可能会出现延迟，患者可能不符合标准的屏气 协议。PET
‑
CT扫描仪产生两种模态图像后，图像配准并不完美；其次，在CT 图像中，肺部肿瘤的边界在视觉上是模糊的，并且周围组织与肿瘤之间的对比 度低，这使得很难区分其边界；第三，相邻器官或者组织干扰，例如肝脏、心 脏和肌肉，它们在肿瘤及其相邻器官之间的CT图像和PET图像中具有相似的 强度；第四，肿瘤的形状和位置在不同患者之间有很大的解剖学差异，尤其是 肿瘤可能存在于胸部的任何地方。可见，这是一个亟待解决的问题。
专利
技术实现思路

[0004]本专利技术的目的是提供一种跨模态注意力网络的多模态图像分割方法及装 置，能够实现多模态图像下的目标分割。
[0005]本申请的一个实施例提供了一种跨模态注意力网络的多模态图像分割方 法，所述方法包括：
[0006]接收目标图像；其中，所述目标图像为多模态图像；
[0007]将所述目标图像输入预先训练完成的跨模态注意力网络，所述跨模态注意 力网络用于多模态图像分割；
[0008]获得所述跨模态注意力网络输出的所述目标图像对应的目标分割图像。
[0009]如上所述的，其中，优选的是，所述目标图像包括：PET图像和CT图像。
[0010]如上所述的，其中，优选的是，所述获得所述跨模态注意力网络输出的所 述目标图像对应的目标分割图像，包括：
[0011]生成所述PET图像和所述CT图像的不同级别的模态特征；
[0012]融合所述PET图像和所述CT图像的多个模态特征；
[0013]根据所述多个模态特征，分别集成所述PET图像和所述CT图像的不同级 别的模态特异性特征；
[0014]根据所述模态特异性特征，生成融合的所述PET图像和所述CT图像的模 态特定特
征；
[0015]根据所述模态特定特征，获得对应的目标分割图像。
[0016]如上所述的，其中，优选的是，所述跨模态注意力网络为：生成对抗网络， 所述生成对抗网络包括：生成器、判别器和损失函数。
[0017]如上所述的，其中，优选的是，所述生成器包括：PET编码器、CT编码 器、融合解码器、PET模态特异性解码器、CT模态特异性解码器；
[0018]所述PET编码器、CT编码器包含第一卷积模块，分别用于为PET图像和 CT图像生成不同级别的模态特征；
[0019]所述融合解码器包含第二卷积模块，用于融合PET图像和CT图像的多模 态特征；
[0020]所述PET模态特异性解码器包含由跨模态通道注意力和跨模态位置注意 力构成的跨模态解码模块，用于集成PET图像的不同级别的模态特异性特征；
[0021]所述CT模态特异性解码器包含第三卷积模块，用于集成CT图像的不同级 别的模态特异性特征。
[0022]如上所述的，其中，优选的是，所述生成器还包括：PET分割模块、CT 分割模块，还用于将所述PET模态特异性解码器、所述CT模态特异性解码器 与所述融合解码器融合，以生成融合的所述PET图像和所述CT图像的模态特 定特征，将所述PET图像的模态特定特征输入所述PET分割模块得到PET图像 的目标分割，将所述CT图像的模态特定特征输入所述CT分割模块得到CT图 像的目标分割。
[0023]如上所述的，其中，优选的是，所述判别器包括：PET分割判别器、CT分 割判别器，所述PET分割判别器、CT分割判别器均由若干卷积层构成。
[0024]如上所述的，其中，优选的是，所述损失函数包括：对抗性损失、PET的L1损失、CT的L1损失、PET的交叉熵损失、CT的交叉熵损失、PET的dice损失、 CT的dice损失、PET的边缘损失、CT的边缘损失。
[0025]如上所述的，其中，优选的是，所述生成器和所述判别器由分别在最小化 和最大化目标函数方面进行最小
‑
最大博弈得到。
[0026]本申请的一个实施例提供了一种跨模态注意力网络的多模态图像分割装 置，所述装置包括：
[0027]接收模块，用于接收目标图像；其中，所述目标图像为多模态图像；
[0028]输入模块，用于将所述目标图像输入预先训练完成的跨模态注意力网络， 所述跨模态注意力网络用于多模态图像分割；
[0029]获得模块，用于获得所述跨模态注意力网络输出的所述目标图像对应的目 标分割图像。
[0030]与现有技术相比，本专利技术提供的一种跨模态注意力网络的多模态图像分割 方法及装置，方法包括：接收目标图像；其中，所述目标图像为多模态图像； 将所述目标图像输入预先训练完成的跨模态注意力网络，所述跨模态注意力网 络用于多模态图像分割；获得所述跨模态注意力网络输出的所述目标图像对应 的目标分割图像，从而实现多模态图像下的目标分割。
附图说明
[0031]图1为本专利技术实施例提供的一种跨模态注意力网络的多模态图像分割系 统的计算机终端的硬件结构框图；
[0032]图2为本专利技术实施例提供的一种跨模态注意力网络的多模态图像分割方 法的流程示意图；
[0033]图3为本专利技术实施例提供的一种跨模态注意力网络的网络结构示意图；
[0034]图4为本专利技术实施例提供的一种跨模态解码模块示意图；
[0035]图5为本专利技术实施例提供的一种跨模态注意力网络的多模态图像分割装 置的结构示意图。
具体实施方式
[0036]下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能 解释为对本专利技术的限制。
[0037]本专利技术实施例首先提供了一种跨模态注意力网络的多模态图像分割方法， 该方法可以应用于电子设备，如计算机终端等等。
[0038]下面以运行在计算机终端上为例对其进行详细说明。图1为本专利技术实施例 提供的一种跨模态注意力网络的多模态图像分割方法的计算机终端的硬件结 构框图。如图1所示，计算机终端可以包括一个或多个(图1中仅示出一个) 处理器102(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨模态注意力网络的多模态图像分割方法，其特征在于，所述方法包括：接收目标图像；其中，所述目标图像为多模态图像；将所述目标图像输入预先训练完成的跨模态注意力网络，所述跨模态注意力网络用于多模态图像分割；获得所述跨模态注意力网络输出的所述目标图像对应的目标分割图像。2.根据权利要求1所述的方法，其特征在于，所述目标图像包括：PET图像和CT图像。3.根据权利要求2所述的方法，其特征在于，所述获得所述跨模态注意力网络输出的所述目标图像对应的目标分割图像，包括：生成所述PET图像和所述CT图像的不同级别的模态特征；融合所述PET图像和所述CT图像的多个模态特征；根据所述多个模态特征，分别集成所述PET图像和所述CT图像的不同级别的模态特异性特征；根据所述模态特异性特征，生成融合的所述PET图像和所述CT图像的模态特定特征；根据所述模态特定特征，获得对应的目标分割图像。4.根据权利要求3所述的方法，其特征在于，所述跨模态注意力网络为：生成对抗网络，所述生成对抗网络包括：生成器、判别器和损失函数。5.根据权利要求4所述的方法，其特征在于，所述生成器包括：PET编码器、CT编码器、融合解码器、PET模态特异性解码器、CT模态特异性解码器；所述PET编码器、CT编码器包含第一卷积模块，分别用于为PET图像和CT图像生成不同级别的模态特征；所述融合解码器包含第二卷积模块，用于融合PET图像和CT图像的多个模态特征；所述PET模态特异性解码器包含由跨模态通道注意力和跨模态位置注意力构成的跨模态解码模块，用于集成PET图像的不同级别...

【专利技术属性】
技术研发人员：向德辉，孟庆权，
申请(专利权)人：苏州大学，
类型：发明
国别省市：