一种图注意力模型驱动的小样本学习肿瘤分割方法技术

本发明专利技术公开了一种图注意力模型驱动的小样本学习肿瘤分割方法，其中，将数据划分为支持集和查询集，将支持集和查询集输入编码器进行编码，获取支持特征和查询特征；根据支持特征获取肿瘤感兴趣区域的特征A，并对特征A进行反池化，使支持特征与查询特征有相同的分辨率；将反池化后的支持特征与查询特征按通道叠加，将叠加后的特征放入图注意力模块，通过图注意力模块学习特征切片之间的空间信息；将经过图注意力模块的输出放入解码器，并结合跳跃连接的方式获得分割结果；本发明专利技术基于图注意力模型，提升了小样本情况下对肿瘤图片数据分割的准确性。的准确性。的准确性。

【技术实现步骤摘要】
一种图注意力模型驱动的小样本学习肿瘤分割方法


[0001]本专利技术涉及计算机视觉的
，尤其涉及一种图注意力模型驱动的小样本学习肿瘤分割方法。

技术介绍

[0002]近年来语义分割在医学成像中起着至关重要的作用，在过去几十年中，随着人们对自动化分割技术的大量研究，基于深度学习的分割模型正在推动这一问题的进展。特别地，卷积神经网络(CNN)在足够的标记数据的条件下进行训练能达到最先进的性能。然而，出于成本和时间的考虑，由于缺乏大量人工标注的数据，在医学图像领域中训练此类高性能模型是不切实际的。
[0003]为了减轻大量样本标注所带来的负担，小样本学习应运而生。在小样本学习的情境下，少样本学习模型被训练为仅使用少量样本学习之前未见过的类别，这些样本通常被表示为支持图像，以及相应的分割掩码来指导未标记样本的分割，通常指从支持图像派生的特征表示的查询图像。在这种情况下，当涉及乳腺癌数据集时，一个用几种癌症分子分型训练过的模型能够用少量样本对其它的分子分型进行精准分割。然而，大多数基于2D自然图像的小样本学习方法无法直接应用于3D图像，因为它们会丢失3D图像切片之间的空间上下文信息，并可能导致过拟合，导致小样本下切割精准度不高且无法在3D情况下进行处理。

技术实现思路

[0004]本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。
[0005]鉴于上述现有存在的问题，提出了本专利技术。
[0006]因此，本专利技术提供了一种图注意力模型驱动的小样本学习肿瘤分割方法，能够(1)避免3D图像无法操作的问题；
[0007](2)避免了小样本下分割不精准的问题。
[0008]为解决上述技术问题，本专利技术提供如下技术方案：包括，将数据划分为支持集和查询集，将支持集和查询集输入编码器进行编码，获取支持特征和查询特征；根据所述支持特征获取肿瘤感兴趣区域的特征A，并对所述特征A进行反池化，使所述支持特征与所述查询特征有相同的分辨率；将反池化后的支持特征与查询特征按通道叠加，将叠加后的特征放入图注意力模块，通过所述图注意力模块学习特征切片之间的空间信息；将经过图注意力模块的输出放入解码器，并结合跳跃连接的方式获得分割结果。
[0009]为本专利技术所述的一种图注意力模型驱动的小样本学习肿瘤分割方法的一种优选方案，其中：所述数据包括，获取3D乳腺癌肿瘤的矢状面MRI图像；获取3D肿瘤图像对应的二值图像；获取每一个3D肿瘤对应的分子分型报告，分子分型包括：正常型、腔面型、HER2过表达型和三阴性乳腺癌。
[0010]为本专利技术所述的一种图注意力模型驱动的小样本学习肿瘤分割方法的一种优选方案，其中：所述数据划分为支持集和查询集包括，利用所述分子分型报告将肿瘤数据进行分类；对每一类的肿瘤数据划分训练集和测试集，利用训练三种类型的肿瘤来测试剩下一种类型的肿瘤的策略训练网络；所述支持集和查询集从其它三个类型的训练数据中随机选取。
[0011]为本专利技术所述的一种图注意力模型驱动的小样本学习肿瘤分割方法的一种优选方案，其中：所述获得支持特征和查询特征包括，支持和查询图像的第t张切片经编码后得到的支持特征和查询特征为：
[0012]X
q，t
＝E(I
q，t
)
[0013]其中，E为编码器，K为支持集中的K个样本，为支持集中的第k个样本的第t张切片图像，I
q,t
为查询图像的一张切片，X
s,t
为支持特征，X
q,t
为查询特征。
[0014]为本专利技术所述的一种图注意力模型驱动的小样本学习肿瘤分割方法的一种优选方案，其中：对所述支持特征获取肿瘤感兴趣区域的特征A，并对所述特征A进行反池化包括，采用双线性插值技术缩放支持集分割标签的大小；对支持集的分割标签与经编码后的支持特征进行哈达玛积计算肿瘤感兴趣区域的特征；采用全局平均池化技术对所述肿瘤感兴趣区域的特征进行池化：
[0015][0016]其中，为经过编码后的第k个样本的第t张切片的支持特征，为所对应的分割标签，
⊙
为哈达玛积，为经过池化后的具有代表性的第k个样本的第t张切片的支持特征，GAP()为全局平均池化技术。
[0017]为本专利技术所述的一种图注意力模型驱动的小样本学习肿瘤分割方法的一种优选方案，其中：所述将反池化后的支持特征与查询特征按通道叠加包括，
[0018][0019]其中，为经过处理后的第k个样本、第t张切片的支持集肿瘤感兴趣区域的特征，为按通道叠加运算，h
t
为切片特征。
[0020]为本专利技术所述的一种图注意力模型驱动的小样本学习肿瘤分割方法的一种优选方案，其中：所述图注意力模块学习特征切片之间的空间信息包括，将3D肿瘤图像的一张切片视为图上的一个顶点，切片的特征作为顶点特征，需要得到一系列新的切片特征利用所述新的切片特征，构建共享注意力机制：计算相邻切片h
i
、h
j
的注意权重：
[0021]a
ij
＝att(Wh
i
,Wh
j
)
[0022]其中，a
ij
为顶点i与顶点j的注意权重，att()为注意力机制，Wh
i
，Wh
j
表示矩阵与特征相乘；用归一化指数函数对所述切片h
i
、h
j
的注意权重a
ij
进行标准化处理：
[0023][0024]其中，σ指的是激活函数，||是串联操作，a
T
表示注意向量a的转置，exp()为指数函数e
x
，Wh
i
为随机生成的矩阵与第i张切片的特征相乘，Wh
j
为随机生成的矩阵与第j张切片的特征相乘，Wh
k
为随机生成的矩阵与第i张切片某一邻接切片特征相乘，N
i
为切片i的所有邻接切片，k为切片i的所有邻接切片中的某一个切片序号，α
ij
为归一化指数函数标准化后的切片h
i
与它所有邻接切片N
i
的注意力值，为维度为F的切片合集，为D的切片集合；
[0025]切片h
i
的特征可以通过具有相应注意权重的相邻切片的特征进行累加得到：
[0026][0027]其中，h
′
i
为h
i
经过一个图注意力层之后的切片特征，j为切片i的所有邻接切片中的某一个切片序号。
[0028]为本专利技术所述的一种图注意力模型驱动的小样本学习肿瘤分割方法的一种优选方案，其中：还包括，把注意力层延伸到多头关注力，增加训练的稳定性：
[0029]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图注意力模型驱动的小样本学习肿瘤分割方法，其特征在于：包括，将数据划分为支持集和查询集，将支持集和查询集输入编码器进行编码，获取支持特征和查询特征；根据所述支持特征获取肿瘤感兴趣区域的特征A，并对所述特征A进行反池化，使所述支持特征与所述查询特征有相同的分辨率；将反池化后的支持特征与查询特征按通道叠加，将叠加后的特征放入图注意力模块，通过所述图注意力模块学习特征切片之间的空间信息；将经过图注意力模块的输出放入解码器，并结合跳跃连接的方式获得分割结果。2.如权利要求1所述的图注意力模型驱动的小样本学习肿瘤分割方法，其特征在于：所述数据包括，获取3D乳腺癌肿瘤的矢状面MRI图像；获取3D肿瘤图像对应的二值图像；获取每一个3D肿瘤对应的分子分型报告，分子分型包括：正常型、腔面型、HER2过表达型和三阴性乳腺癌。3.如权利要求2所述的图注意力模型驱动的小样本学习肿瘤分割方法，其特征在于：所述数据划分为支持集和查询集包括，利用所述分子分型报告将肿瘤数据进行分类；对每一类的肿瘤数据划分训练集和测试集，利用训练三种类型的肿瘤来测试剩下一种类型的肿瘤的策略训练网络；所述支持集和查询集从其它三个类型的训练数据中随机选取。4.如权利要求3所述的图注意力模型驱动的小样本学习肿瘤分割方法，其特征在于：所述获得支持特征和查询特征包括，支持和查询图像的第t张切片经编码后得到的支持特征和查询特征为：X
q，t
=E(I
q，t
）其中，E为编码器，K为支持集中的K个样本，为支持集中的第k个样本的第t张切片图像，I
q,t
为查询图像的一张切片，X
s,t
为支持特征，X
q,t
为查询特征。5.如权利要求4所述的图注意力模型驱动的小样本学习肿瘤分割方法，其特征在于：对所述支持特征获取肿瘤感兴趣区域的特征A，并对所述特征A进行反池化包括，采用双线性插值技术缩放支持集分割标签的大小；对支持集的分割标签与经编码后的支持特征进行哈达玛积计算肿瘤感兴趣区域的特征；采用全局平均池化技术对所述肿瘤感兴趣区域的特征进行池化：其中，为经过编码后的第k个样本的第t张切片的支持特征，为所对应的分割标签，
⊙
为哈达玛积，为经过池化后的具有代表性的第k个样本的第t张切片的支持特征，GAP()为全局平均池化技术。
6.如权利要求5所述的图注意力模型驱动的小样本学习肿瘤分割方法，其特征在于：所述将反池化后的支持特征与查询特征按通道叠加包括，其中，为经过处理后的第k个样本、第t张切片的支持集肿瘤感兴趣区域的特征，为按通道叠加运算，h
t
为切片特征。7.如权利要求6所述的图注意力模型驱动的小样本学习肿瘤分...

【专利技术属性】
技术研发人员：潘祥，吴由庆，吕天旭，厉力华，张岩，胡曙东，张继如，刘渊，谢振平，
申请(专利权)人：江南大学，
类型：发明
国别省市：