一种基于上下文建模的宫颈细胞全切片分类方法技术

本发明专利技术公开了一种基于上下文建模的宫颈细胞全切片分类方法，包括：1.获取T类宫颈细胞全切片样本；2.构造基于Faster Rcnn网络的细胞检测和特征提取模块，对宫颈细胞全切片样本进行细胞检测和特征提取，对固定大小的细胞核图像提取特征，得到不同类型细胞全切片中的细胞核图像的特征序列；3.搭建双向长短期记忆网络和注意力机制融合的上下文建模模块；4.搭建宫颈细胞全切片分类器；5.进行宫颈细胞全切片的分类预测。本发明专利技术通过对输入的不同宫颈细胞全切片中的细胞核图像进行特征提取后的信息进行更加有效的学习，完成对多种不同宫颈细胞全切片的准确分类，能够有效降低当前宫颈细胞分类方法对于细胞级别的标注代价。分类方法对于细胞级别的标注代价。分类方法对于细胞级别的标注代价。

【技术实现步骤摘要】
一种基于上下文建模的宫颈细胞全切片分类方法


[0001]本专利技术涉及数字图像处理
，特别涉及图像分类技术，具体涉及一种基于上下文建模的宫颈细胞病理全切片分类方法。

技术介绍

[0002]传统的病理图像分析是通过病理医生在显微镜下进行人工阅片来完成的，这一环节需要有着丰富临床经验的医生对大量组织病理学的切片图像进行分析，然而医生每天的阅片数量十分庞大，阅片时间长，医生可能会因为超负荷的工作量、主观情绪的影响严重影响病理切片分析的正确率，这给病理切片分析的发展带来了很大的阻碍。若是能够提升宫颈细胞全切片分类的自动化进程，利用计算机辅助阅片，将给病理切片分析带来新的发展思路。
[0003]近年来，深度学习的出现引起了计算机视觉领域的广泛关注，并开始将其应用于各种视觉任务，并取得了显著的效果。目前，基于深度学习的宫颈细胞分类方法大多只采用简单的网络模型对细胞图像特征进行提取和学习，在预测的准确度上还有很大的提升空间。

技术实现思路

[0004]本专利技术为克服现有技术的不足之处，提出一种基于上下文建模的宫颈细胞全切片分类方法，以期能够更好地学习和提取全切片中的细胞图像特征，从而能提高分类的效率和准确率，并有效降低当前宫颈细胞分类方法对于细胞级别的标注代价。
[0005]本专利技术为达到上述专利技术目的，采用如下技术方案：
[0006]本专利技术一种基于上下文建模的宫颈细胞全切片的分类方法的特点是按如下步骤进行：
[0007]步骤1、获取T类维度为H
×
W
×
C的宫颈细胞全切片样本并进行归一化预处理，得到预处理后的全切片序列并作为训练样本，记为S＝{S1,S2,
…
,S
t
,
…
,S
T
}，其中，S
t
表示第t类归一化后的宫颈细胞全切片样本，且归一化后的宫颈细胞全切片样本，且表示第t类归一化后的宫颈细胞全切片样本S
t
中的第k个全切片，H表示高度、W表示宽度、C表示通道数；K表示第t类归一化后的宫颈细胞全切片样本S
t
的总切片数；
[0008]采用非重叠分割方式将第k个全切片分割成多个图像块，得到分块集合记为分割成多个图像块，得到分块集合记为表示第k个全切片的第n个分块图像；N
k
表示第k个全切片的总块数；
[0009]步骤2、搭建基于Faster Rcnn网络的细胞检测和提取网络，用于固定大小的细胞检测和特征提取；
[0010]步骤2.1、搭建由骨干网络、区域提取网络、ROI检测网络、分类网络构成的细胞检
测和提取网络；
[0011]步骤2.1.1、所述骨干网络是基于ResNet101网络，并依次包括：第一卷积块、第二卷积块、第三卷积块、第四卷积块、第五卷积块和第六分类块；
[0012]第一卷积块的卷积核为n1×
n2，第二卷积块由三个残差块构成，第三卷积块由四个残差块构成，第四卷积块由二十三个残差块构成，第五卷积块由三个残差组成，第六分类块由一个平均池化层和全连接层构成；每个残差块中包含两个1
×
1的卷积核和一个3
×
3的卷积核；
[0013]将所述第n个分块图像输入所述骨干网络中进行处理，依次经过五个卷积块后输出特征图
[0014]步骤2.1.2、所述区域提取网络在所述特征图上生成各个尺度和长宽比的锚点框，并通过Softmax分类器判定各个锚点框内是前景还是背景，并将判定为前景的锚点框作为目标候选区域，再利用边框回归图修正所述目标候选区域，从而得到多个精准候选区域并输出；
[0015]步骤2.1.3、所述ROI检测网络利用ROI池化层将多个精准候选区域映射到所述特征图上，再利用全连接层和Softmax分类器构成的分类网络依次对特征图上的精准候选区域进行判断，若判断为细胞核图像，则提取特征图上相应精准候选区域并作为细胞核特征图，从而得到细胞核特征图集合胞核特征图，从而得到细胞核特征图集合表示第k个全切片的第n个分块图像的特征图中第j个细胞核特征图；J
t,k,n
表示特征图的细胞核特征图总数；
[0016]将所述第j个细胞核特征图输入至骨干提取网络的第六分类块中，输出第j个细胞核特征向量从而得到J
t,k,n
个细胞核特征向量并构成细胞核特征序列
[0017]步骤3、构造上下文建模网络，包括：双向长短期记忆网络Bi
‑
LSTM、注意力机制融模块和融合模块：
[0018]步骤3.1、构造双向长短期记忆网络；
[0019]步骤3.1.1、所述双向长短期记忆网络Bi
‑
LSTM，包括：前向LSTM和后向LSTM，用于对输入的细胞核特征序列进行特征学习；
[0020]将第j个细胞核特征向量分别输入前向LSTM和后向LSTM中，相应得到a时刻前向LSTM的隐状态输出为和后向LSTM的隐状态输出为并拼接为a时刻双向长短期记忆网络Bi
‑
LSTM的输出从而得到a时刻的隐状态集合
[0021]步骤3.2、所述注意力机制模块，包括：一个最大池化层、一个全连接层和一个回归
函数；将第j个细胞核特征向量注意力机制模块中，并依次经过最大池化层、全连接层后，得到注意力特征向量从而得到注意力特征序列将所述输入注意力特征向量输入回归函数中，从而利用式(1)得到第j个细胞核特征向量的权重从而得到权重集合
[0022][0023]式(1)中，表示输入注意力特征向量的转置，V
′
表示矩阵数乘的转置，d表示超参数，T表示细胞类别数；tanh()表示正切曲线函数；
[0024]步骤3.3、所述融合模块将所述隐状态集合和所述权重集合结合起来并输入至tanh激活函数中得到特征融合信息序列R
nt,k
；再将特征融合信息序列R
nt,k
序列输入一个全连接层中，从而得到第n个分块图像的分类结果；
[0025]步骤4、利用式(2)建立KL散度损失函数Z
KL
：
[0026][0027]式(2)中，表示第k个全切片是第t类的真值得分，表示融合模块输出的第k个全切片是第t类的预测概率得分；
[0028]将所述训练样本中各个全切片的所有图像块输入所述细胞检测和提取网络以及上下文建模网络进行训练，并通过Adam优化器不断优化KL散度损失函数Z
KL
，以调整网络参数，从而得到宫颈细胞全切片分类器，用于实现宫颈细胞全切片的分类结果。
[0029]与已有技术相比，本专利技术的有益效果体现在：
[0030]1、本专利技术与传统的细胞级分类方法不同，构建了一种全切片级别的细胞分类方法，将不同类型细胞全切片进行细胞检测与细胞特征提取训练，能够有效对细胞全切片进行分类，从而有效降低了当前宫颈细胞分类方法对于细胞级别的标注代价。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于上下文建模的宫颈细胞全切片的分类方法，其特征是按如下步骤进行：步骤1、获取T类维度为H
×
W
×
C的宫颈细胞全切片样本并进行归一化预处理，得到预处理后的全切片序列并作为训练样本，记为S＝{S1,S2,
…
,S
t
,
…
,S
T
}，其中，S
t
表示第t类归一化后的宫颈细胞全切片样本，且化后的宫颈细胞全切片样本，且表示第t类归一化后的宫颈细胞全切片样本S
t
中的第k个全切片，H表示高度、W表示宽度、C表示通道数；K表示第t类归一化后的宫颈细胞全切片样本S
t
的总切片数；采用非重叠分割方式将第k个全切片分割成多个图像块，得到分块集合记为分割成多个图像块，得到分块集合记为表示第k个全切片的第n个分块图像；N
k
表示第k个全切片的总块数；步骤2、搭建基于Faster Rcnn网络的细胞检测和提取网络，用于固定大小的细胞检测和特征提取；步骤2.1、搭建由骨干网络、区域提取网络、ROI检测网络、分类网络构成的细胞检测和提取网络；步骤2.1.1、所述骨干网络是基于ResNet101网络，并依次包括：第一卷积块、第二卷积块、第三卷积块、第四卷积块、第五卷积块和第六分类块；第一卷积块的卷积核为n1×
n2，第二卷积块由三个残差块构成，第三卷积块由四个残差块构成，第四卷积块由二十三个残差块构成，第五卷积块由三个残差组成，第六分类块由一个平均池化层和全连接层构成；每个残差块中包含两个1
×
1的卷积核和一个3
×
3的卷积核；将所述第n个分块图像输入所述骨干网络中进行处理，依次经过五个卷积块后输出特征图步骤2.1.2、所述区域提取网络在所述特征图上生成各个尺度和长宽比的锚点框，并通过Softmax分类器判定各个锚点框内是前景还是背景，并将判定为前景的锚点框作为目标候选区域，再利用边框回归图修正所述目标候选区域，从而得到多个精准候选区域并输出；步骤2.1.3、所述ROI检测网络利用ROI池化层将多个精准候选区域映射到所述特征图上，再利用全连接层和Softmax分类器构成的分类网络依次对特征图上的精准候选区域进行判断，若判断为细胞核图像，则提...

【专利技术属性】
技术研发人员：刘波，史骏，唐昆铭，束童，祝新宇，罗庭辉，张元，郑利平，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：