一种基于自注意力机制的弱监督宫颈癌前病变分级方法技术

本发明专利技术适用于医学图像处理技术领域，提供了一种基于自注意力机制的弱监督宫颈癌前病变分级方法，包括如下步骤：步骤S1：病理图像预处理；步骤S2：以包和示例的层级方式将组织病理图像切分成指定大小的切片；步骤S3：使用预训练的卷积神经网络(CNN)提取图像局部特征；步骤S4：使用基于自注意力机制的模型A和B分别编码示例间和包间的关系以增强全局信息捕捉能力，结合全连接层以聚合示例级表征获得包级表征，进而获得全局图像级表征；步骤S5：使用全连接层，结合Softmax函数得到分级结果。本发明专利技术可以在只有图像级标注的情况下对宫颈癌前病变进行有效分级，辅助临床病理医生的诊断工作，缓解医疗资源紧张的问题。缓解医疗资源紧张的问题。缓解医疗资源紧张的问题。

【技术实现步骤摘要】
一种基于自注意力机制的弱监督宫颈癌前病变分级方法


[0001]本专利技术涉及医学图像处理
，具体涉及一种基于自注意力机制的弱监督宫颈癌前病变分级方法。

技术介绍

[0002]据2021年1月发表的最新全球癌症统计报告显示，2020年全球女性宫颈癌发病率和死亡率顺位第四，成为仅次于乳腺癌的第二大女性恶性肿瘤，其高发病率和低龄化发病趋势亦越来越引起人们的重视。宫颈癌主要是由HPV病毒感染到发生癌前病变进而发展成浸润性癌的持续病变，定期进行宫颈癌筛查，精准诊断和治疗宫颈癌前病变，可以降低患浸润性癌的风险。宫颈上皮内瘤变(Cervical Intraepithelial Neoplasia,CIN)是一组与宫颈浸润癌密切相关的癌前病变的统称，世界卫生组织将其定义为三个等级，精准的癌前病变分级是确定治疗方案的重要前提，与患者的生存及预后紧密相关。临床上以组织病理学检查为病变诊断的金标准，其中涉及大量繁重的病理切片判读任务，诊断准确性高度依赖医生的经验，且病理医生的培养周期长，人才储备缺口巨大，病理科室普遍超负荷工作，因此亟需开展针对宫颈癌前病变分级的计算机辅助诊断(Computer Aided Diagnosis,CAD)研究，帮助医生提高诊断工作的精度和速度，缓解病理诊断资源不足的问题。
[0003]近年来，深度学习方法推动计算机视觉领域取得了巨大的成功。随着显微摄影和全切片扫描技术的发展，病理切片能以数字图像的形式保存下来，使得计算机视觉方法可以用于病理领域。目前已有学者采用深度学习方法对宫颈癌前病变分级进行了一些研究，这些方法大多基于监督学习的方式训练模型，依赖于像素级标注的数据达到了可以比肩病理医生的诊断精度。由于病理数据标注的知识门槛极高且全视野数字切片(Whole Slide Image，WSI)尺寸巨大，导致缺乏像素级标注的公开数据集。相比精细标注的数据，许多医院和科研机构都有大量的粗粒度数据，因此更鼓励探索基于弱监督学习的辅助诊断方法。现有一些基于弱监督学习的模型采用两阶段的训练策略大大增加了计算开销，不能进行端到端的训练。此外，典型的WSI图像达近10亿像素，由于计算量和存储空间的限制导致CNN无法直接应用于整张图像上，主流算法采用分块采样的方法把WSI切成固定尺寸的小块，这些小块可以被送入神经网络提取特征。然而这些方法的全局信息捕获能力仅限于小块，缺乏块间空间信息的编码，导致无法较好地捕获WSI的全局特征，降低了模型从临床相关结构中学习表征的能力。

技术实现思路

[0004]为了解决上述现有技术存在的不足，本专利技术提供了一种基于自注意力机制的弱监督宫颈癌前病变分级方法，用于辅助临床病理医生诊断宫颈癌前病变，缓解病理诊断资源匮乏的窘境。针对所述现有模型不能端到端训练的问题，本专利技术采用了包和示例的层级模式，将WSI切分成固定尺寸的包和示例以便直接传入特征提取模块；针对现有模型全局信息捕获能力不足的问题，本专利技术引入自注意力机制编码包间和示例间的空间信息以更好地捕
获图像的全局信息，允许网络在没有任何明确监督的情况下从临床相关组织结构中学习WSI表征，以提高在只有WSI级标注的情况下宫颈癌前病变分级的精度。
[0005]本专利技术提供的一种基于自注意力机制的弱监督宫颈癌前病变分级方法，包括如下步骤：
[0006]步骤S1：病理图像预处理；
[0007]步骤S2：以包和示例的层级方式将组织病理图像切分成指定大小的切片；
[0008]步骤S3：使用预训练的卷积神经网络(CNN)提取图像局部特征；
[0009]步骤S4：使用基于自注意力机制的模型A和B分别编码示例间和包间的关系以增强全局信息捕捉能力，结合全连接层以聚合示例级表征获得包级表征，进而获得全局图像级表征；
[0010]步骤S5：使用全连接层，结合Softmax函数得到分级结果。
[0011]进一步地，所述步骤S1中所述病理图像预处理具体为：筛选MTCHI中宫颈病理图像，剔除组织区域占比小于25％的图像，采用Reinhard方法做染色标准化处理，消除染色差异的影响，利用通道滤波器去除图像中的污渍和阴影部分，以中心裁剪方式将图像缩放为固定尺寸(4608*4608)，每张图像包含一个粗粒度的图像级标签(正常/CIN1/CIN2/CIN3)，其中CIN1指轻度宫颈上皮内瘤变，CIN2指中度宫颈上皮内瘤变，CIN3指重度宫颈上皮内瘤变。
[0012]进一步地，所述步骤S2中所述以包和示例的层级方式将组织病理图像切分成指定大小的切片具体为：利用滑动窗口裁剪经步骤S1得到的图像，首先设置固定尺寸的窗口(768*768)，沿着图像的行与列滑动剪裁，窗口从图像的左上角开始，每次沿着行方向移动768个像素点，共滑动6次，后沿着列方向每次移动768个像素点，共滑动6次，得到36个大小为768*768的包；针对每个包，同样利用上述滑动窗口进行剪裁，设置固定窗口大小为128*128，得到36个128*128的示例。
[0013]进一步地，所述步骤S3中所述使用预训练的卷积神经网络(CNN)提取图像局部特征具体为：选择在ImageNet数据集上预训练的MobileNet
‑
v2模型，迁移其除分类层外的网络结构及预训练参数。
[0014]进一步地，所述步骤S4中所述使用自注意力机制编码示例间和包间的关系以增强全局信息捕捉能力，结合全连接层以聚合示例级表征获得包级表征，进而获得全局图像级表征具体为：
[0015]步骤一，针对由步骤S3得到的卷积神经网络特征图B
iCNN
代表第i个包经过所述步骤S3的输出，m
×
m代表包中的示例个数，d1代表示例的输出维度，采用步骤S4所述的模型A编码示例间的关系得到模型A的具体结构如下：一个多头自注意力模块和一个前向传播网络，每个模块输入前都利用一个LayerNorm层进行归一化处理，且都应用了残差连接，由B
iCNN
得到B
ihh
计算过程如式(1)～(6)所示：
[0016]H
′
＝MHSA(Q＝B
iCNN
′
，K＝B
iCNN
′
，V＝B
iCNN
′
)
[0017]＝Concat(head1，...，head
h
)W
O
#(1)
[0018][0019][0020]H＝H
′
+B
iCNN
#(4)
[0021]FFN(LayerNorm(H))＝RELU(LayerNorm(H)β1)β2#(5)
[0022]B
ihh
＝FFN(LayerNorm(H))+H#(6)
[0023]其中，所述模型A中的多头自注意力模块在有限的d
h
维空间中编码示例间的关系，前向传播网络包含两个线性层，带有权重为的第一个线性层将输入从d
m...

【技术保护点】

【技术特征摘要】
1.一种基于自注意力机制的弱监督宫颈癌前病变分级方法，其特征在于，包括如下步骤：步骤S1：病理图像预处理；步骤S2：以包和示例的层级方式将组织病理图像切分成指定大小的切片；步骤S3：使用预训练的卷积神经网络(CNN)提取图像局部特征；步骤S4：使用基于自注意力机制的模型A和B分别编码示例间和包间的关系以增强全局信息捕捉能力，结合全连接层以聚合示例级表征获得包级表征，进而获得全局图像级表征；步骤S5：使用全连接层，结合Softmax函数得到分级结果。2.如权利要求1所述的一种基于自注意力机制的弱监督宫颈癌前病变分级方法，其特征在于，步骤S1中所述病理图像预处理具体为：筛选MTCHI中宫颈病理图像，剔除组织区域占比小于25％的图像，采用Reinhard方法做染色标准化处理，利用通道滤波器去除图像中的污渍和阴影部分，以中心裁剪方式将图像缩放为固定尺寸，每张图像包含一个粗粒度的图像级标签。3.如权利要求1所述的一种基于自注意力机制的弱监督宫颈癌前病变分级方法，其特征在于，步骤S2中所述以包和示例的层级方式将组织病理图像切分成指定大小的切片具体为：利用滑动窗口裁剪经步骤S1得到的图像，首先设置固定尺寸的窗口，沿着图像的行与列滑动剪裁。4.如权利要求1所述的一种基于自注意力机制的弱监督宫颈癌前病变分级方法，其特征在于，步骤S3中所述使用预训练的卷积神经网络(CNN)提取图像局部特征具体为：选择在ImageNet数据集上预训练的MobileNet
‑
v2模型，迁移其除分类层外的网络结构及预训练参数。5.如权利要求1所述的一种基于自注意力机制的弱监督宫颈癌前病变分级方法，其特征在于，步骤S4中所述使用自注意力机制编码示例间和包间的关系以增强全局信息捕捉能力，结合全连接层以聚合示例级表征获得包级表征，进而获得全局图像级表征具体为：步骤一，针对由步骤S3得到的卷积神经网络特征图采用步骤S4所述的模型A编码示例间的关系得到步骤二，将由步骤一得到的示例级表征传入一个全连接层以获得包级表征步骤三，针对由步骤二得到的包级表征采用步骤S4所述的模型B编码包间的关系得到步骤四，将由步骤三得到的包级表征传入一个全连接层以聚合包间表示进而获得图像级表征。6.如权利要求5所述的一种基于自注意力机制的弱监督宫颈癌前病变分级方法，其特征在于，模型A的具体结构如下：一个多头自注意力模块和一个前向传播网络，每个模块输入前都利用一个LayerNorm层进行归一化处理，且都应用了残差连接，由B
iCNN
得到B
ih h

【专利技术属性】
技术研发人员：石磊，徐静，张亚萌，高宇飞，
申请(专利权)人：郑州大学，
类型：发明
国别省市：