一种胃癌H＆E染色图像智能预测PD-L1抑制剂疗效的方法技术

本发明专利技术提供了一种胃癌H&E染色图像智能预测PD

【技术实现步骤摘要】
一种胃癌H＆E染色图像智能预测PD
‑
L1抑制剂疗效的方法


[0001]本专利技术涉及图像识别
，特别是一种胃癌H＆E染色图像智能预测PD
‑
L1抑制剂疗效的方法。

技术介绍

[0002]根据国际癌症研究机构(IARC)2020年的统计数据显示，胃癌是全球第五大常见恶性肿瘤，死亡率位列所有恶性肿瘤中的第四位。胃癌的治疗方式主要有外科手术、内镜治疗、化学治疗、基因治疗、中医药治疗、综合治疗等，近几年来，以PD
‑
1/PD
‑
L1单克隆抗体为代表的免疫检查点抑制剂在肿瘤免疫治疗方面取得突破性进展。目前对于免疫治疗疗效预测集中在肿瘤微环境PD
‑
L1的表达上，胃癌中PD
‑
L1表达水平的判读标准使用的是免疫组化的方法进行 CPS评分(综合阳性评分)，数值越大，表明肿瘤对免疫治疗的敏感性越高。在2020年欧洲肿瘤内科学会年会(ESMO)上，在胃癌领域开展的迄今为止规模最大、唯一成功的全球性III期研究——CheckMate
‑
649的详细结果出炉了。结果显示：
[0003](1)在所有患者中，O药(纳武利尤单抗，中国已经获批的胃癌免疫药物)联合化疗用于胃癌患者的一线治疗，对比单独化疗显著延长了总生存期。
[0004](2)在肿瘤PD
‑
L1高表达(CPS≥5)的患者中，O药联合化疗的总生存期获益更大，同时，还观察到了显著的无进展生存期获益。
[0005]CPS作为PD
‑
L1伴随诊断的评价方法之一，对临床使用PD
‑
L1抑制剂进行免疫治疗具有重要的指导意义。然而，由于PD
‑
L1免疫组化染色切片的染色强度差异和病理医生因经验、疲劳等主观因素引起的误差，导致不同病理医生之间进行CPS评分的一致性相对较低，甚至同一名病理医生在不同时间诊断同一例病例，结果都可能存在差异。针对这一问题，近年来，国内外研究者通过使用人工智能技术量化PD
‑
L1免疫评分，旨在辅助病例医生提升判读的一致性和效率。然而，相对非小细胞肺癌和黑色素瘤的TPS 评分，以及三阴性乳腺癌的IC评分，胃癌的CPS评分的难度较大，因此，当前的研究大多集中在TPS评分和IC评分上，对于胃癌CPS评分智能预测的研究甚少。
[0006]同时，PD
‑
L1表达水平、肿瘤浸润淋巴细胞(TIL)、错配修复缺陷(dMMR) 和微卫星高不稳定(MSI
‑
H)、肿瘤突变负荷(TMB)、肠道共生菌分别从不同方面影响着PD
‑
1/PD
‑
L1抑制剂对肿瘤的疗效，各因素之间相互关联，这也给临床医生是否对胃癌患者使用PD
‑
1/PD
‑
L1抑制剂进行免疫治疗的选择带来难度。因此，亟需一种评估PD
‑
1/PD
‑
L1抑制剂疗效的标志物，辅助医生进行临床决策。

技术实现思路

[0007]有鉴于此，本专利技术的目的在于提供一种胃癌H＆E染色图像智能预测 PD
‑
L1抑制剂疗效的方法，得到胃癌患者使用PD
‑
L1抑制剂后疗效的预测结果，辅助医生进行临床决策。
[0008]为实现上述目的，本专利技术采用如下技术方案：一种胃癌H＆E染色图像智能预测PD
‑
L1抑制剂疗效的方法，提出基于半监督学习的癌变区域分割模型，分割H＆E染色图像中的
癌变区域；其次，取出包含癌变区域的图像块，根据临床医生标记的PD
‑
L1抑制剂疗效标签得到每张图像块的类别标签，运用基于多实例学习的图像分类模型进行图像块层面的预测；最后，基于图像块层面的预测结果生成整张H＆E染色图像的疗效判别矩阵，运用基于深度卷积神经网络的图像分类模型进行切片层面的疗效预测。
[0009]在一较佳的实施例中，首先，将H＆E染色图像切割成512
×
512像素的图像块，根据胃癌分型选取部分图像块标注胃癌区域，得到部分已标注图像块和未标注图像块；其次，选取DeepLabV3+作为分割主干网络，并使用通过ImageNet数据集预训练获得的EfficientNet
‑
B3网络代替DeepLabV3+ 网络中的编码器结构，构建meanteacher模型；最后，对于已标注的图像块，输入学生网络，得到的预测结果和真实标签之间使用交叉熵损失函数结合FocalLoss进行约束，即MixedLoss；对于未标注的图像块，分别输入教师网络和学生网络，得到的预测结果通过一致性损失函数进行约束，即ConsistencyLoss；其中，学生网络通过MixedLoss结合Consistency Loss调整和改进网络优化目标，教师网络权重参数由学生网络权重参数的指数移动平均值获得；同时，在训练数据中加入各种辅助图像变换。
[0010]在一较佳的实施例中，首先，基于患者的生存期、无进展生存期和肿瘤缩小程度，评估H＆E染色图像所对应的胃癌患者在使用PD
‑
L1抑制剂后的疗效标签，记作有显著疗效1和无显著疗效0；其次，由胃癌区域分割模型选取H＆E染色图像中包含癌变区域的图像块及其周边的4个图像块，保留选取所有图像块在原H＆E染色图像中的位置信息；再次，根据PD
‑
L1抑制剂疗效标签给出选取图像块的类别标签，使用基于多实例学习的图像分类模型进行训练；对于无显著疗效的H＆E染色图像，所有选取的图像块标签均设置为0，而对于有显著疗效的H＆E染色图像，将选取的图像块初始标签设置为1；在分类模型的每一次迭代后，利用分类模型对所有的图像块进行预测，分别从无显著疗效和有显著疗效的H＆E染色图像中选取分类模型预测概率最高的部分图像块进行下一阶段的训练，直到模型收敛；最后，初始化一个128
×
128像素的疗效判别矩阵，根据位置信息和分类模型预测概率给疗效判别矩阵赋值，未赋值像素的像素值均设置为0，该疗效判别矩阵即预测PD
‑
L1抑制剂疗效的标志物。
[0011]在一较佳的实施例中，首先，对疗效判别矩阵和与之对应的疗效标签，使用3个不同的深度卷积神经网络即EfficientNet
‑
B3、ResNet50、 MobileNetV3进行训练，并使用交叉熵损失函数调整和改进深度神经网络优化目标；其次，取3个深度卷积神经网络的预测类别概率进行平均，通过训练集中的预测概率中位数选取分类阈值，以得到最终的胃癌患者PD
‑
L1 抑制剂疗效预测结果；最后，通过使用LOG
‑
RANK检验来评估测试集上不同预测结果的患者生存期和无进展生存期的差异，以此评估预测结果的准确性。
[0012]与现有技术相比，本专利技术具有以下有益效果：
[0013](1)本专利技术通过半监督学习的方法，在充分减本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种胃癌H&E染色图像智能预测PD
‑
L1抑制剂疗效的方法，其特征在于，提出基于半监督学习的癌变区域分割模型，分割H&E染色图像中的癌变区域；其次，取出包含癌变区域的图像块，根据临床医生标记的PD
‑
L1抑制剂疗效标签得到每张图像块的类别标签，运用基于多实例学习的图像分类模型进行图像块层面的预测；最后，基于图像块层面的预测结果生成整张H&E染色图像的疗效判别矩阵，运用基于深度卷积神经网络的图像分类模型进行切片层面的疗效预测。2.根据权利要求1所述的一种胃癌H&E染色图像智能预测PD
‑
L1抑制剂疗效的方法，其特征在于，首先，将H&E染色图像切割成512
×
512像素的图像块，根据胃癌分型选取部分图像块标注胃癌区域，得到部分已标注图像块和未标注图像块；其次，选取DeepLabV3+作为分割主干网络，并使用通过ImageNet数据集预训练获得的EfficientNet
‑
B3网络代替DeepLab V3+网络中的编码器结构，构建mean teacher模型；最后，对于已标注的图像块，输入学生网络，得到的预测结果和真实标签之间使用交叉熵损失函数结合Focal Loss进行约束，即Mixed Loss；对于未标注的图像块，分别输入教师网络和学生网络，得到的预测结果通过一致性损失函数进行约束，即Consistency Loss；其中，学生网络通过MixedLoss结合Consistency Loss调整和改进网络优化目标，教师网络权重参数由学生网络权重参数的指数移动平均值获得；同时，在训练数据中加入各种辅助图像变换。3.根据权利要求2所述的一种胃癌H&E染色图像智能预测PD
‑
L1抑制剂疗效的方法，其特征在于，首先，基于患者的生存期、无进展生存期和肿瘤缩小程度，评估H...

【专利技术属性】
技术研发人员：童同，兰俊林，张和军，陈刚，杜民，王健超，陈丽芳，
申请(专利权)人：福建省肿瘤医院福建省肿瘤研究所，福建省癌症防治中心，
类型：发明
国别省市：