一种病理图像分类方法、设备、系统及存储介质技术方案

本发明专利技术涉及一种病理图像分类方法、设备、系统及存储介质。包括：获取显微镜采集到的病理图像；通过分割网络得到所述病理图像的血细胞区域，设置血细胞区域像素为固定值，得到没有血细胞的病理图像；将所述没有血细胞的病理图像输入分类模型中，得到分类结果。本发明专利技术从病理图片自身问题出发，具有重要的临床应用价值。值。值。

【技术实现步骤摘要】
一种病理图像分类方法、设备、系统及存储介质


[0001]本专利技术涉及智能医疗
，更具体地，涉及一种病理图像分类方法、设备、系统及存储介质。

技术介绍

[0002]随着临床技术的进步，通过病理医生对病理涂片进行现场诊断的快速现场评估(Rapid on
‑
site evaluation,ROSE)技术带来了快速高效的诊断优势，但其对医生时间的占用以及对资深医生的需求限制了其推广与发展。针对活检样本的病理图像使用人工智能的方式进行分析能够显著优化当前工作流程，减少对医生时间的占用并降低对医生经验的依赖。
[0003]现有研究中有通过深度神经网络模型进行病理图片的识别，例如专利CN201810896157.5，将待识别病理图片输入预先训练生成的多个不同类型的深度神经网络模型，对多个不同类型的深度神经网络模型得到的初步识别结果进行融合，得到最终识别结果。不过现有的研究都没有考虑病理图片本身的问题，比如图像中有大量的血细胞等噪音，会对人工智能学习时造成信息干扰，影响学习的效率和模型的准确率。

技术实现思路

[0004]为解决上述问题，我们根据病理图像的特点，建立适用于病理图像分类方法、设备、系统及存储介质，为病理图像的准确识别奠定基础。
[0005]本申请公开了一种病理图像分类方法，包括：
[0006]获取显微镜采集到的病理图像；
[0007]通过分割网络得到所述病理图像的血细胞区域，设置血细胞区域像素为固定值，得到没有血细胞的病理图像；
[0008]将所述没有血细胞的病理图像输入分类模型中，得到分类结果。
[0009]进一步，所述固定值和病理图像背景值接近或等同，优选的，所述固定值为0或255；
[0010]可选的，所述分割网络为语义分割网络或实例分割网络。
[0011]可选的，所述血细胞包括红细胞、白细胞和血小板。
[0012]进一步，所述分类模型包括特征融合模型和分类器，所述特征融合模型用于提取所述没有血细胞的病理图像的特征并融合得到融合后的特征图，将所述融合后的特征图输入所述分类器中，得到分类结果；
[0013]可选的，所述特征融合模型包括特征提取模块、注意力解析模块和注意力特征融合模块；
[0014]所述特征提取模块为残差网络，用于对所述没有血细胞的病理图像进行特征提取，得到不同阶段的特征图；
[0015]所述注意力解析模块用于将不同阶段的特征图输入注意力解析机制获得注意力
引导信息；
[0016]所述注意力特征融合模块包括自注意力全局模块与引导注意力模块，所述自注意力全局模块用于将上一阶段的特征图通过多头自注意力层实现全局建模，得到更具倾向性的全局特征图，所述引导注意力模块用于将所述自注意力全局建模后的特征图通过多头引导注意力层，并承接注意力解析机制获得的注意力引导信息，得到融合后的特征图。
[0017]进一步，所述特征融合模型包括n个(n为大于1的整数)特征提取模块、n个(n为大于1的整数)注意力解析模块和n个(n为大于1的整数)注意力特征融合模块；
[0018]所述特征提取模块为残差网络，用于对所述没有血细胞的病理图像进行特征提取，得到第一阶段、第二阶段到第n阶段不同阶段的特征图；
[0019]所述注意力解析模块用于将不同阶段的特征图输入注意力解析机制获得第一阶段、第二阶段到第n阶段注意力引导信息；
[0020]所述注意力特征融合模块包括第一阶段、第二阶段到第n阶段自注意力全局模块与第一阶段、第二阶段到第n阶段引导注意力模块，所述第一阶段自注意力全局模块用于将上一阶段的特征图通过多头自注意力层实现全局建模，得到第一阶段自注意力全局建模后的特征图，所述第一阶段引导注意力模块用于将所述第一阶段自注意力全局建模后的特征图通过多头引导注意力层，并承接注意力解析机制获得的第一阶段注意力引导信息，得到第一阶段融合后的特征图；所述第二阶段自注意力全局模块用于将第一阶段融合后的特征图通过多头自注意力层实现全局建模，得到第二阶段自注意力全局建模后的特征图，所述第二阶段引导注意力模块用于将所述第二阶段自注意力全局建模后的特征图通过多头引导注意力层，并承接注意力解析机制获得的第二阶段注意力引导信息，得到第二阶段融合后的特征图；所述第n阶段自注意力全局模块用于将第n
‑
1阶段融合后的特征图通过多头自注意力层实现全局建模，得到第n阶段自注意力全局建模后的特征图，所述第n阶段引导注意力模块用于将所述第n阶段自注意力全局建模后的特征图通过多头引导注意力层，并承接注意力解析机制获得的第n阶段注意力引导信息，得到第n阶段融合后的特征图；
[0021]可选的，所述特征融合模型还包括特征选择模块，所述特征选择模块位于特征提取模块后，用于对特征提取模块最后阶段的特征图进行特征选择，得到特征选择后的特征图；
[0022]优选的，所述特征选择采用过滤法、包裹法、嵌入法中的任意一种或几种。
[0023]进一步，所述自注意力全局模块包括映射变换层、多头自注意力层、残差链接与正则化模块，所述自注意力全局模块用于将上一阶段的特征图依次通过映射变换层、多头自注意力层、残差链接与正则化模块，实现全局建模，得到更具倾向性的全局特征图；所述引导注意力模块包括映射变换层、多头引导注意力层、残差链接与正则化模块，所述引导注意力模块用于将所述自注意力全局建模后的特征图依次通过映射变换层、多头引导注意力层、残差链接与正则化模块，并承接注意力解析机制获得的注意力引导信息，得到融合后的特征图；
[0024]优选的，所述自注意力全局模块包括映射变换层、多头自注意力层、残差链接与正则化模块、前馈神经网络、第二残差链接与正则化模块，所述自注意力全局模块用于将上一阶段的特征图依次通过映射变换层、多头自注意力层、残差链接与正则化模块、前馈神经网络、第二残差链接与正则化模块，实现全局建模，得到更具倾向性的全局特征图；所述引导
注意力模块包括映射变换层、多头引导注意力层、残差链接与正则化模块、前馈神经网络、第二残差链接与正则化模块，所述引导注意力模块用于将所述自注意力全局建模后的特征图依次通过映射变换层、多头引导注意力层、残差链接与正则化模块、前馈神经网络、第二残差链接与正则化模块，并承接注意力解析机制获得的注意力引导信息，得到融合后的特征图。
[0025]进一步，所述分类器为全连接层或从已有的模型算法中挑选出的分类器；
[0026]可选的，所述分类器选自下列机器学习模型算法中的一种或几种：逻辑回归算法、朴素贝叶斯分类、支持向量机分类、支持向量机线性分类、k近邻、决策树、随机森林、xgboost、感知机算法。
[0027]进一步，所述方法还包括对病理图像进行预处理，所述预处理包括对病理图片进行灰度化、几何变换、图像增强任意一种或几种处理；
[0028]优选的，所述预处理包括对获取显微镜采集到的病理图片的分辨率进行统一。
[0029]一种病理图像分类设备，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种病理图像分类方法，包括：获取显微镜采集到的病理图像；通过分割网络得到所述病理图像的血细胞区域，设置血细胞区域像素为固定值，得到没有血细胞的病理图像；将所述没有血细胞的病理图像输入分类模型中，得到分类结果。2.根据权利要求1中所述的病理图像分类方法，其特征在于，所述固定值和病理图像背景值接近或等同，优选的，所述固定值为0或255；可选的，所述分割网络为语义分割网络或实例分割网络。3.根据权利要求1中所述的病理图像分类方法，其特征在于，所述分类模型包括特征融合模型和分类器，所述特征融合模型用于提取所述没有血细胞的病理图像的特征并融合得到融合后的特征图，将所述融合后的特征图输入所述分类器中，得到分类结果；可选的，所述特征融合模型包括特征提取模块、注意力解析模块和注意力特征融合模块；所述特征提取模块为残差网络，用于对所述没有血细胞的病理图像进行特征提取，得到不同阶段的特征图；所述注意力解析模块用于将不同阶段的特征图输入注意力解析机制获得注意力引导信息；所述注意力特征融合模块包括自注意力全局模块与引导注意力模块，所述自注意力全局模块用于将上一阶段的特征图通过多头自注意力层实现全局建模，得到更具倾向性的全局特征图，所述引导注意力模块用于将所述自注意力全局建模后的特征图通过多头引导注意力层，并承接注意力解析机制获得的注意力引导信息，得到融合后的特征图。4.根据权利要3中所述的病理图像分类方法，其特征在于，所述特征融合模型包括n个(n为大于1的整数)特征提取模块、n个(n为大于1的整数)注意力解析模块和n个(n为大于1的整数)注意力特征融合模块；所述特征提取模块为残差网络，用于对所述没有血细胞的病理图像进行特征提取，得到第一阶段、第二阶段到第n阶段不同阶段的特征图；所述注意力解析模块用于将不同阶段的特征图输入注意力解析机制获得第一阶段、第二阶段到第n阶段注意力引导信息；所述注意力特征融合模块包括第一阶段、第二阶段到第n阶段自注意力全局模块与第一阶段、第二阶段到第n阶段引导注意力模块，所述第一阶段自注意力全局模块用于将上一阶段的特征图通过多头自注意力层实现全局建模，得到第一阶段自注意力全局建模后的特征图，所述第一阶段引导注意力模块用于将所述第一阶段自注意力全局建模后的特征图通过多头引导注意力层，并承接注意力解析机制获得的第一阶段注意力引导信息，得到第一阶段融合后的特征图；所述第二阶段自注意力全局模块用于将第一阶段融合后的特征图通过多头自注意力层实现全局建模，得到第二阶段自注意力全局建模后的特征图，所述第二阶段引导注意力模块用于将所述第二阶段自注意力全局建模后的特征图通过多头引导注意力层，并承接注意力解析机制获得的第二阶段注意力引导信息，得到第二阶段融合后的特征图；所述第n阶段自注意力全局模块用于将第n
‑
1阶段融合后的特征图通过多头自注意力层实现全局建模，得到第n阶段自注意力全局建模后的特征图，所述第n阶段引导注意力
模块用于将所述第n阶段自注意力全局建模后的特征图通过多...

【专利技术属性】
技术研发人员：冯云路，张光磊，赵雨，杨爱明，吴东，范广达，张天翊，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：