一种全视野数字病理切片的病灶区域分类方法及其系统技术方案

本发明专利技术公开了一种全视野数字病理切片的病灶区域分类方法及其系统，构建了CSResNet系统，并对其进行学习训练，从而实现对全视野数字病理切片中病灶区域的自动分割，并对分割出的病灶区域进行进一步分类，判断病灶区域的类别。本发明专利技术的CSResNet系统中的残差注意力模块同时结合通道和空间两个方向注意力机制，使网络能够将学习重心转移到特征图中能够决定输入图像类别的关键区域，具有较高的计算效率、分类精度和识别能力。

【技术实现步骤摘要】
一种全视野数字病理切片的病灶区域分类方法及其系统
本专利技术涉及图像处理
，特别涉及一种全视野数字病理切片的病灶区域分类方法及其系统。
技术介绍
全视野数字病理切片是利用全自动显微镜扫描仪以及计算机技术，将病理切片可视化为高分辨率的数字图像，一般是上亿像素的数字图像，信息量大。而面对如此复杂的图像，病理医生要从中寻找病灶区域并判断其类别，需要耗费较长时间进行分析，效率较低。因此，我们迫切需要实现全视野数字病理切片的自动分析，从而提高病灶区域的分类效率。
技术实现思路
为解决上述问题，本专利技术提供了一种全视野数字病理切片的病灶区域分类方法及其系统。本专利技术采用以下技术方案：该方法包括如下步骤：S1、对病理切片图像进行标注，得到标注后的切片图像；优选地，所述病理切片图像是由全视野数字病理切片切成较小的病理切片图像获得；所述标注是用阈值分割的方法分割出所述病理切片图像中的病理组织区域，然后使用滑动窗口滑过所述病理切片图像，根据设定的阈值，将病理组织区域占比超过阈值的所述病理切片图像筛选出来，并标注出病灶区域。优选地，所述阈值分割的方法包括大津阈值分割法。S2、对所述标注后的切片图像进行两次筛选后得到的图像块作为训练集；优选地，所述两次筛选由一次筛选和二次筛选组成，所述一次筛选具体为：使用滑动窗口滑过所述标注后的切片图像，将背景区域与正常组织区域占比大于阈值的图像块筛掉，将筛选后的图像块用于二次筛选；所述二次筛选具体为：从一次筛选后的图像块中再筛选掉同时包含多种不同疾病病灶的图像块，筛选方法与一次筛选相同，将剩余的只包含单一类别病灶区域的图像块作为训练集。S3、将所述训练集输入CSResNet系统进行分类学习训练，所述CSResNet系统包括卷积模块、残差注意力模块和全局平均池化层；优选地，所述分类学习训练具体为：将训练集的图像块输入CSResNet系统后，由卷积模块处理后，输入到残差注意力模块进行处理，再由全局平均池化层压缩1×1×c的特征向量，最后由所述特征向量判断输入图像块的病灶区域的类别。优选地，所述卷积模块由卷积层和池化层组成；优选地，所述残差注意力模块由通道注意力分支、空间注意力分支和恒等映射分支组成。优选地，所述通道注意力分支先由压缩操作Fsq(·)将特征图像U压缩为1×1×c的特征向量，然后经过激发操作Fex(·,W)，由1×1的卷积层学习特征向量中对应特征图像U每一个通道的权重，最后将特征向量逐通道的和特征图像U相乘；优选地，所述空间注意力分支将特征图U先编码器压缩特征图U，再由解码器恢复被压缩特征图U的空间结构，然后经过卷积操作及Sigmoid函数激活生成单通道的权值掩码，最后将权值掩码在空间维度上逐元素的和输入特征图U相乘；优选地，所述恒等映射分支将输入的特征图U直接传递到后续网络，残差注意力模块末端，将三个分支生成的特征图逐像素相加，输出最终的特征图。S4、将拟被分类的全视野数字病理切片按所述步骤S1、S2进行预处理，然后输入所述CSResNet系统进行分类，得到分类结果。采用上述技术方案后，本专利技术与
技术介绍
相比，具有如下优点：本专利技术通过对标注后的切片图像进行两次筛选，将同时包含多类病灶区域的图像块去除，并通过设置较大尺寸的图像块作为训练模型的数据集，使模型能够关注到更多标注正确的区域，减小误差；本专利技术的CSResNet系统中的残差注意力模块同时结合通道和空间两个方向注意力机制，通过注意力机制，使网络能够将学习重心转移到特征图中能够决定输入图像类别的关键区域，忽略次要区域，从而提高模型的计算效率与分类精度，增强模型的识别能力。附图说明图1为本专利技术CSResNet系统结构示意图；图2为本专利技术残差注意力模块结构示意图；图3为本专利技术通道注意力分支的结构示意图；图4为本专利技术空间注意力分支的结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。实施例一本专利技术公开了一种全视野数字病理切片的病灶区域分类方法及其系统，该方法包括如下步骤：S1、对病理切片图像进行标注，得到标注后的切片图像；首先将获取的原始全视野数字病理切片切成较小的病理切片图像；采用大津阈值分割的方法分割出病理切片图像中的病理组织区域，然后使用4096×4096大小的滑动窗口滑过病理切片图像，并设定阈值为0.7，将病理组织区域占比超过阈值的所述病理切片图像筛选出来，并标注出病灶区域。S2、对标注后的切片图像进行两次筛选后得到的图像块作为训练集，本实施例选取116张含有胃癌区域或普通胃病区域的胃部切片图像作为训练数据集。这里的两次筛选由一次筛选和二次筛选组成，其中，一次筛选具体为：使用大小为256×256滑动窗口滑过标注后的切片图像，将背景区域与正常组织区域占比大于阈值0.5的图像块筛掉，将筛选后的图像块用于二次筛选；其中，二次筛选具体为：从一次筛选后的图像块中再筛选掉同时包含多种不同疾病病灶的图像块，筛选方法与一次筛选相同，将剩余的只包含单一类别病灶区域的图像块作为训练集。S3、将上述训练集输入CSResNet系统进行分类学习训练，其中，如图1所示，CSResNet系统包括卷积模块、残差注意力模块和全局平均池化层；在分类学习训练时，将训练集的图像块输入CSResNet系统后，由卷积模块处理后，输入到残差注意力模块进行处理，再由全局平均池化层压缩1×1×c的特征向量，最后由所述特征向量判断输入图像块的病灶区域的类别。其中，卷积模块由卷积层和池化层组成；如图2所示，残差注意力模块由通道注意力分支、空间注意力分支和恒等映射分支组成。具体的，如图3所示，通道注意力分支先由压缩操作Fsq(·)将特征图像U压缩为1×1×c的特征向量，然后经过激发操作Fex(·,W)，由1×1的卷积层学习特征向量中对应特征图像U每一个通道的权重，最后将特征向量逐通道的和特征图像U相乘；如图4所示，空间注意力分支将特征图U先编码器压缩特征图U，再由解码器恢复被压缩特征图U的空间结构，然后经过卷积操作及Sigmoid函数激活生成单通道的权值掩码，最后将权值掩码在空间维度上逐元素的和输入特征图U相乘；恒等映射分支将输入的特征图U直接传递到后续网络，残差注意力模块末端，将三个分支生成的特征图逐像素相加，输出最终的特征图。S4、将拟被分类的31张胃部全视野数字病理切片按所述步骤S1、S2进行预处理，然后输入所述CSResNet系统进行分类，得到分类结果。本实施例代码基于Keras深度学习框架，后端基于TensorFlow。所有操作均在LinuxUbuntu16.04LTS平台上进行。分割任务使用两块NVIDIAGeForceGTX108本文档来自技高网...

【技术保护点】
1.一种全视野数字病理切片的病灶区域分类方法，其特征在于：该方法包括如下步骤：/nS1、对病理切片图像进行标注，得到标注后的切片图像；/nS2、对所述标注后的切片图像进行两次筛选后得到的图像块作为训练集；/nS3、将所述训练集输入CSResNet系统进行分类学习训练；/nS4、将拟被分类的全视野数字病理切片按所述步骤S1、S2进行预处理，然后输入所述CSResNet系统进行分类，得到分类结果。/n

【技术特征摘要】
1.一种全视野数字病理切片的病灶区域分类方法，其特征在于：该方法包括如下步骤：
S1、对病理切片图像进行标注，得到标注后的切片图像；
S2、对所述标注后的切片图像进行两次筛选后得到的图像块作为训练集；
S3、将所述训练集输入CSResNet系统进行分类学习训练；
S4、将拟被分类的全视野数字病理切片按所述步骤S1、S2进行预处理，然后输入所述CSResNet系统进行分类，得到分类结果。


2.如权利要求1所述的一种全视野数字病理切片的病灶区域分类方法，其特征在于：所述病理切片图像是由全视野数字病理切片切成较小的病理切片图像获得；所述标注是用阈值分割的方法分割出所述病理切片图像中的病理组织区域，然后使用滑动窗口滑过所述病理切片图像，根据设定的阈值，将病理组织区域占比超过阈值的所述病理切片图像筛选出来，并标注出病灶区域。


3.如权利要求2所述的一种全视野数字病理切片的病灶区域分类方法，其特征在于：所述阈值分割的方法包括大津阈值分割法。


4.如权利要求1所述的一种全视野数字病理切片的病灶区域分类方法，其特征在于：所述两次筛选由一次筛选和二次筛选组成，所述一次筛选具体为：使用滑动窗口滑过所述标注后的切片图像，将背景区域与正常组织区域占比大于阈值的图像块筛掉，将筛选后的图像块用于二次筛选；所述二次筛选具体为：从一次筛选后的图像块中再筛选掉同时包含多种不同疾病病灶的图像块，筛选方法与一次筛选相...

【专利技术属性】
技术研发人员：黄晓阳，王连生，
申请(专利权)人：厦门大学，
类型：发明
国别省市：福建;35