一种基于深度学习的多分辨率集成HER2判读方法技术

本发明专利技术公开一种一种基于深度学习的多分辨率集成HER2判读方法，包括以下步骤：步骤s1：输入一张全数字化HER2病理切片图像WSI，提取1x倍率下的有效组织区域；步骤s2：分别无重叠裁剪成尺寸大小为256*256和128*128的patch；步骤s3：利用类别是Normal的patch来训练两个所输入patch的尺寸大小分别为256*256和128*128的三分类GAN网络；步骤s4：得到在10x倍率下和5x倍率下确定类别为Normal的每个patch的对应分类类别，即0/1+、2+或者3+步骤s5：采用同异性投票机制作为集成规则对两个三分类GAN网络的输出结果进行投票；步骤s6：对投票结果进行计数，完成WSI类别的最终确定。本发明专利技术有效的避免由于染色差异等其他因素对最终正确判读WSI类别带来的影响，提升判读分类的精度。

【技术实现步骤摘要】
一种基于深度学习的多分辨率集成HER2判读方法
本专利技术涉及计算机图像识别技术，尤其涉及一种基于深度学习的多分辨率集成HER2判读方法。
技术介绍
在乳腺癌的日常诊断中,病理医师通常会进行HER2免疫组化切片的判读。即在显微镜下，对HER2切片进行分析，判读，并做出诊断报告，即根据病理指南对HER2进行分级，0/1+(阴性)，2+(可疑，不确定)，3+(阳性)。对于阳性患者，可建议接受曲妥珠单抗等药物进行治疗；对于可疑，不确定的患者，一般通过荧光原位杂交等技术进行进一步的确认。随着数字病理的发展，病理切片可以通过数字扫描仪，扫描成数字化切片。病理医师，可以通过特定的阅片软件，在计算机上进行HER2切片的分析和判读。但是不管是采用显微镜镜下阅片的方式，还是在计算机上进行数字切片的分析，HER2的判读都存在耗时，主观性强，病理医师不同时刻判读结果有差异，病理医师之间结论有差异等问题。这种差异，将直接影响患者的后续治疗。因此，一种客观的，可重复性，高准确率的辅助诊断系统亟待开发。目前存在的相似的实现方法，存在对于不同时期，切片染色存在较大差异，切片中存在的异常染色噪音，空白区域，无效组织等常见的影响自动化分析结论的因素。这些问题，将很大程度上影响HER2的最终分级。
技术实现思路
本专利技术旨在提供一种基于深度学习、实现HER2切片中不同区域自动分割并最终辅助病理医师判定HER2分级的方法。为达到上述目的，本专利技术是采用以下技术方案实现的：一种基于深度学习的多分辨率集成HER2判读方法，包括以下步骤：步骤s1：输入一张全数字化HER2病理切片图像WSI，提取1x倍率下的有效组织区域；步骤s2：将所提取的1x倍率下的有效组织区域，映射到10x倍率和5x倍率下，分别提取对应倍率下的组织图像，并将10x倍率下和5x倍率下的组织图像分别无重叠裁剪成尺寸大小为256*256和128*128的patch；步骤s3：由专业病理医师对完成剪裁的patch进行分类标注，分类分别为0/1+、2+、3+和Abnormal，再利用尺寸大小分别为256*256和128*128的patch来训练二分类GAN网络，区分出patch所表示类别是Normal或者是Abnormal，然后利用类别是Normal的patch来训练两个所输入patch的尺寸大小分别为256*256和128*128的三分类GAN网络；步骤s4：将完成剪裁的patch输入完成训练的二分类GAN网络，输出patch的Normal类别和Abnormal类别，将Normal类别的输出与两个三分类GAN网络的其中一个的输出结果进行逻辑与操作，得到在10x倍率下和5x倍率下确定类别为Normal的每个patch的对应分类类别，即0/1+、2+或者3+；步骤s5：采用同异性投票机制作为集成规则对两个三分类GAN网络的输出结果进行投票，得出投票结果；步骤s6：对投票结果进行计数，完成WSI类别的最终确定。优选的，在步骤s1中，提取1x倍率下的有效组织区域即为分割得到切片中的有效组织区域、阳性对照以及阴性对照。优选的，所述步骤s5包括以下步骤：步骤s501：排除非正常结果Abnormal；步骤s502：根据同异性对剩余的结果进行投票，得出投票结果。进一步的，在步骤s501中，如果两个三分类GAN模型中任一输出结果为Abnormal,那么投票结果为Abnormal。进一步的，在步骤s502中，如果两个三分类GAN模型的两个输出结果相同，那么投票结果即为输出结果。进一步的，在步骤s502中，如果两个三分类GAN模型的输出结果不同，那么投票结果为2+。优选的，在步骤s6中，按照下列关系式进行WSI类别的最终确定：Normal_patches＝Counts_1+Counts_2+Counts_3其中，Counts_1、Counts_2及Counts_3分别表示0/1+、2+、3+、abnormal四个类别在一个WSI中总计的数目；Normal_patches为正常patch的总数目。Ratio_Negative、Ratio_Equivocal及Ratio_Positive分别为阴性，不确定及阳性的比率。进一步的，若Ratio_Positive≥10％，WSI对应的类别为3+；若Ratio_Equivocal≥10％，WSI对应的类别为2+；其它情形下WSI对应的类别为0/1+。优选的，所述二分类GAN网络与两个三分类GAN网络生成器共用一个生成器Generator。优选的，所述二分类GAN网络中所包含的判别器为Discriminator0，两个三分类GAN网络的判别器分别为Discriminator1和Discriminator2。本专利技术具有以下有益效果：1、在本专利技术中，对于有效组织区域切分完成的Patch，输入一个二分类GAN网络中，Discriminator0与另外的两个三分类GAN网络中的一个(如Discriminator1)的输出结果进行逻辑与操作，判断该Patch是否是真正有效的分类组织区域，而不是将整个有效组织区域输入进三分类网络，可以避免无效的patch影响最终结论，同时还能进一步提升模型的鲁棒性和泛化能力；2、在本专利技术中，利用WSI扫描成像时，可以读取不同倍率。对同一图像区域，获取两种倍率，进行深度学习模型的训练，根据两个模型的分类差异，按照集成规则，若一个模型识别为2+，我们将类别归为2+，WSI最终判读为2+，然后再进行进一步的分析，这样可以非常有效的避免由于染色差异等其他因素对最终正确判读WSI类别带来的影响，提升分类的精度。附图说明图1为分类为3+和2+的patch；图2为分类为1+和0+的patch；图3为分类为Abnormal的patch；图4为逻辑与操作表格；图5为集成规则结果表格；图6为错误分类表格；图7为本专利技术流程示意图；图8为生成器网络结构示意图；图9为判别器网络结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图，对本专利技术进行进一步详细说明。一种基于深度学习的多分辨率集成HER2判读方法，包括以下步骤：步骤s1：输入一张全数字化HER2病理切片图像WSI，提取1x倍率下的有效组织区域，即分割切片中的有效组织区域，阳性对照，阴性对照。步骤s2：将所提取的1x倍率下的有效组织区域，映射到10x倍率和5x倍率下，分别提取对应倍率下的组织图像，并将10x倍率下和5x倍率下的组织图像分别无重叠裁剪成尺寸大小为256*256和128*128的patch。步骤s3：如图1、2和3，由专业病理医师对完成剪裁的patch进行分类标注，分类分别为0/1+、2+、3+和Abnormal，本文档来自技高网...

【技术保护点】
1.一种基于深度学习的多分辨率集成HER2判读方法，其特征在于，包括以下步骤：/n步骤s1：输入一张全数字化HER2病理切片图像WSI，提取1x倍率下的有效组织区域；/n步骤s2：将所提取的1x倍率下的有效组织区域，映射到10x倍率和5x倍率下，分别提取对应倍率下的组织图像，并将10x倍率下和5x倍率下的组织图像分别无重叠裁剪成尺寸大小为256*256和128*128的patch；/n步骤s3：由专业病理医师对完成剪裁的patch进行分类标注，分类分别为0/1+、2+、3+和Abnormal，再利用尺寸大小分别为256*256和128*128的patch来训练二分类GAN网络，区分出patch所表示类别是Normal或者是Abnormal，然后利用类别是Normal的patch来训练两个所输入patch的尺寸大小分别为256*256和128*128的三分类GAN网络；/n步骤s4：将完成剪裁的patch输入完成训练的二分类GAN网络，输出patch的Normal类别和Abnormal类别，将Normal类别的输出与两个三分类GAN网络的其中一个的输出结果进行逻辑与操作，得到在10x倍率下和5x倍率下确定类别为Normal的每个patch的对应分类类别，即0/1+、2+或者3+；/n步骤s5：采用同异性投票机制作为集成规则对两个三分类GAN网络的输出结果进行投票，得出投票结果；/n步骤s6：对投票结果进行计数，完成WSI类别的最终确定。/n...

【技术特征摘要】
1.一种基于深度学习的多分辨率集成HER2判读方法，其特征在于，包括以下步骤：
步骤s1：输入一张全数字化HER2病理切片图像WSI，提取1x倍率下的有效组织区域；
步骤s2：将所提取的1x倍率下的有效组织区域，映射到10x倍率和5x倍率下，分别提取对应倍率下的组织图像，并将10x倍率下和5x倍率下的组织图像分别无重叠裁剪成尺寸大小为256*256和128*128的patch；
步骤s3：由专业病理医师对完成剪裁的patch进行分类标注，分类分别为0/1+、2+、3+和Abnormal，再利用尺寸大小分别为256*256和128*128的patch来训练二分类GAN网络，区分出patch所表示类别是Normal或者是Abnormal，然后利用类别是Normal的patch来训练两个所输入patch的尺寸大小分别为256*256和128*128的三分类GAN网络；
步骤s4：将完成剪裁的patch输入完成训练的二分类GAN网络，输出patch的Normal类别和Abnormal类别，将Normal类别的输出与两个三分类GAN网络的其中一个的输出结果进行逻辑与操作，得到在10x倍率下和5x倍率下确定类别为Normal的每个patch的对应分类类别，即0/1+、2+或者3+；
步骤s5：采用同异性投票机制作为集成规则对两个三分类GAN网络的输出结果进行投票，得出投票结果；
步骤s6：对投票结果进行计数，完成WSI类别的最终确定。


2.根据权利要求1所述的，其特征在于：在步骤s1中，提取1x倍率下的有效组织区域即为分割得到切片中的有效组织区域、阳性对照以及阴性对照。


3.根据权利要求1所述的，其特征在于，所述步骤s5包括以下步骤：
步骤s501：排除非正常结果Abnormal；
步骤s502：根据同异性对剩余的结果进行投票，得出投票结果。

【专利技术属性】
技术研发人员：向旭辉，杨一明，雷雪梅，袁勇，蔡小玲，郑众喜，
申请(专利权)人：四川大学华西医院，
类型：发明
国别省市：四川;51