一种用于PET-CT多模态肿瘤分割的空间注意力方法及装置制造方法及图纸

本发明专利技术涉及一种用于PET

A spatial attention method and device for PET-CT multimodal tumor segmentation

【技术实现步骤摘要】
一种用于PET
‑
CT多模态肿瘤分割的空间注意力方法及装置


[0001]本专利技术涉及医学图像分割领域，具体而言，涉及一种用于PET
‑
CT多模态肿瘤分割的空间注意力方法及装置。

技术介绍

[0002]医学图像分割主要是基于计算机断层图像(CT)、正电子发射断层图像(PET)或磁共振图像(MRI)将肿瘤从图像中勾画出来，它是医学图像分析的一项基本任务。虽然CT图像分辨率高且可以精确描绘物体内部结构信息，但其对于肿瘤等软组织结构的成像清晰度不够。PET是一种新型的基于放射性示踪剂的分子成像技术，其对肿瘤等软组织区域相当敏感，因此其对于肿瘤检测相当有效。但是PET成像分辨率较差，其检测的肿瘤边界不够清晰，这在肿瘤分割任务中不利于确定肿瘤边界。联合PET
‑
CT成像的出现解决了以上问题，它集成了CT与PET的优点，同时具备CT对于结构信息的高精确性和PET对于肿瘤探测的高灵敏性。但是现在的肿瘤分割都是由经验丰富的专家手动完成，这是一项费时费力且昂贵的工作。因此，研究和开发一种基于PET
‑
CT多模态的自动肿瘤分割方法对于肿瘤诊断和减少医生的工作量具有非常重要的科学意义和应用前景。
[0003]当前大多数方法的自动肿瘤分割方法都是单独基于CT或PET或MRI的。也有部分是基于PET
‑
CT或PET
‑
MRI多模态的，但是它们都只是简单融合两种图像，很少单独考虑两者的区别。
[0004]中国专利申请号202210499262.X提出一种“一种用于PET
‑
CT多模态肿瘤分割的空间注意力网络”，其通过设计一个单独的空间注意力模块来分别提取PET和CT的特征信息。
[0005]Xiaohang Fu等人于2021年在IEEE Journal of Biomedical and Health Informatics期刊上发表了文章“Multimodal Spatial Attention Module for Targeting Multimodal PET
‑
CT Lung Tumor Segmentation”。该网络分为PET和CT两个子网络(其中PET通道的网络即为作者提出的多模态空间注意力模块)，该网络采用U
‑
Net结构。网络包含5层，每层包含两次卷积，每层的卷积核个数分别位64、128、256、512、1024。最后使用一个卷积核做一次卷积并利用softmax激活函数生成最终的空间注意力结果。作者将PET子网络的输出注意力结果图进行采样后作为权值信息融合到CT的上采样阶段，并生成最终的分割结果。
[0006]但上述现有技术具有以下技术缺点：
[0007]1.使用单一模态数据肿瘤分割效果不佳；
[0008]2.大部分算法针对特殊肿瘤设计，算法的泛化性差；
[0009]3.使用多模态数据未考虑不同模态的区别。

技术实现思路

[0010]本专利技术实施例提供了一种用于PET
‑
CT多模态肿瘤分割的空间注意力方法及装置，以至少解决现有医学图像分割精度差的技术问题。
[0011]根据本专利技术的一实施例，提供了一种用于PET
‑
CT多模态肿瘤分割的空间注意力方法，包括以下步骤：
[0012]在多尺度卷积空间注意力网络中设置单独编码的PET输入通道和CT输入通道，将PET
‑
CT多模态图像中的PET图像输入至PET输入通道提取出PET特征信息，将PET
‑
CT多模态图像中的CT图像输入至CT输入通道提取出CT特征信息；
[0013]将PET解码结果和CT解码结果进行融合。
[0014]进一步地，PET输入通道和CT输入通道为两个对称但权值不共享的输入通道。
[0015]进一步地，PET
‑
CT多模态图像在输入通道之前，方法还包括：将PET
‑
CT多模态图像进行重采样、裁剪以及归一化处理，具体为：
[0016]首先将PET和CT多模态图像重采样至分辨率为1mm
×
1mm
×
1mm，再将其裁剪为144
×
144
×
144的尺寸；再将CT多模态图像使用最大最小值规范化至[
‑
1,1]，将PET多模态图像使用均值和方差进行规范化。
[0017]进一步地，将PET解码结果和CT解码结果进行融合之前，方法还包括：
[0018]在PET输入通道和CT输入通道中设置通道权值掩码模块，通道权值掩码模块包含一个全局平均池化层、两个全连接层和一个sigmoid层；
[0019]全局平均池化将形状格式为[B,C,H,W,D]的输入映射为[B,C,1,1,1]，压缩最后三个维度，得到形状为[B,C,1]的权值向量；其中B表示batch size；C表示输入通道数；H、W、D表示输入的三维图像尺寸；
[0020]在全局平均池化之后是两个全连接层，其中第一个全连接层输入节点为C，输出节点为2*C，第二个全连接层的输入节点为2*C，输出节点为C；第二个全连接层使用sigmoid激活函数，得到最终的通道权值掩码；
[0021]在编码与解码之间增添一个短连接，将输入与通道权值掩码相乘，对通道维度特征信息进行压缩与扩张。
[0022]进一步地，使用的输入数据尺寸为[B,C,H,W,D]，先将输入经过一个通道权值掩码模块完成通道上的挤压与扩张得到结果X，尺寸为[B,C,H,W,D]；
[0023]然后对通道权值掩码模块的输出结果进行多尺度卷积，采用三种不同尺寸的卷积核，分别为1
×1×
1、3
×3×
3和5
×5×
5，卷积步长均为1，填充padding分别为0、1、2，激活函数均为relu；将3
×3×
3和5
×5×
5的卷积结果进行矩阵相乘并将尺寸为[B,C,H,W,D]的结果U展平为尺寸为[B,C,(H*W*D),1]的一维向量S，经softmax激活函数生成尺寸为[B,C,(H*W*D),1]的权重信息T，再重构为尺寸为[B,C,H,W,D]的原尺大小W；将结果W与1
×1×
1的卷积结果求点积得到多尺度空间注意力结果；使用一个短连接将多尺度卷积的输入与输出按通道拼接起来并进行规范化；
[0024]最后，使用一个1
×1×
1的卷积将通道数调整至与输入相同,结果V的尺寸为[B,C,H,W,D]。
[0025]进一步地，在原始的残差网络上设置有自动扩展残差模块；该自动扩展残差模块由两条支路组成，其中一条支路卷积核大小为3
×3×
3,卷积步长为1，填充数量为1，激活函数为relu；另外一条支路根据输入通道和设置的输出通道自动变化确定；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于PET
‑
CT多模态肿瘤分割的空间注意力方法，其特征在于，包括以下步骤：在多尺度卷积空间注意力网络中设置单独编码的PET输入通道和CT输入通道，将PET
‑
CT多模态图像中的PET图像输入至PET输入通道提取出PET特征信息，将PET
‑
CT多模态图像中的CT图像输入至CT输入通道提取出CT特征信息；将PET解码结果和CT解码结果进行融合。2.根据权利要求1所述的用于PET
‑
CT多模态肿瘤分割的空间注意力方法，其特征在于，所述PET输入通道和CT输入通道为两个对称但权值不共享的输入通道。3.根据权利要求1所述的用于PET
‑
CT多模态肿瘤分割的空间注意力方法，其特征在于，所述PET
‑
CT多模态图像在输入通道之前，所述方法还包括：将PET
‑
CT多模态图像进行重采样、裁剪以及归一化处理，具体为：首先将PET和CT多模态图像重采样至分辨率为1mm
×
1mm
×
1mm，再将其裁剪为144
×
144
×
144的尺寸；再将CT多模态图像使用最大最小值规范化至[
‑
1,1]，将PET多模态图像使用均值和方差进行规范化。4.根据权利要求3所述的用于PET
‑
CT多模态肿瘤分割的空间注意力方法，其特征在于，所述将PET解码结果和CT解码结果进行融合之前，所述方法还包括：在PET输入通道和CT输入通道中设置通道权值掩码模块，所述通道权值掩码模块包含一个全局平均池化层、两个全连接层和一个sigmoid层；全局平均池化将形状格式为[B,C,H,W,D]的输入映射为[B,C,1,1,1]，压缩最后三个维度，得到形状为[B,C,1]的权值向量；其中B表示batch size；C表示输入通道数；H、W、D表示输入的三维图像尺寸；在全局平均池化之后是两个全连接层，其中第一个全连接层输入节点为C，输出节点为2*C，第二个全连接层的输入节点为2*C，输出节点为C；第二个全连接层使用sigmoid激活函数，得到最终的通道权值掩码；在编码与解码之间增添一个短连接，将输入与通道权值掩码相乘，对通道维度特征信息进行压缩与扩张。5.根据权利要求4所述的用于PET
‑
CT多模态肿瘤分割的空间注意力方法，其特征在于，使用的输入数据尺寸为[B,C,H,W,D]，先将输入经过一个通道权值掩码模块完成通道上的挤压与扩张得到结果X，尺寸为[B,C,H,W,D]；然后对通道权值掩码模块的输出结果进行多尺度卷积，采用三种不同尺寸的卷积核，分别为1
×1×
1、3
×3×
3和5
×5×
5，卷积步长均为1，填充padding分别为0、1、2，激活函数均为relu；将3
×3×
3和5
×5×
5的卷积结果进行矩阵相乘并将尺寸为[B,C,H,W,D]的结果U展平为尺寸为[B,C,(H*W*D),1]的一维向量S，经softmax激活函数生成尺寸为[B,C,(H*W*D),1]的权重信息T，再重构为尺寸为[B,C,H,W,D]的原尺大小W；将结果W与1
×1×
1的卷积结果求点积得到多尺度空间注意力结果；使用一个短连接将多尺度卷积的输入与输出按通道拼接起来并进行规范化；最后，使用一个1
×1×
1的卷积将通道数调整至与输入相同,结果V的尺寸为[B,C,H,W,D]。6.根据权利要求5所述的用于PET
‑
...

【专利技术属性】
技术研发人员：胡战利，黄正勇，梁栋，郑海荣，杨永峰，刘新，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：