一种多尺度融合注意力的深度学习癌症分子分型预测方法技术

本发明专利技术公开了一种多尺度融合注意力的深度学习癌症分子分型预测方法，涉及病理图像智能处理技术领域，旨在解决由于全尺寸数字病理图像像素尺寸过大，大多方法将其在某一倍率下切分为小的图块进一步训练图块层面的分类模型；通过针对病理图像不同尺度引入信息侧重不同，搭建深度神经网络关注空间尺度信息，同时也关注了通道信息，从多个维度充分利用图块信息，在本身没有先验知识确定分子分型在病理图像中的特征表现时，充分利用不同尺度的空间信息，对模型训练的不同通道有所侧重使得模型更容易探索与分子分型相关的特征表现，提升预测性能。性能。性能。

【技术实现步骤摘要】
一种多尺度融合注意力的深度学习癌症分子分型预测方法


[0001]本专利技术涉及病理图像智能处理
，具体为一种多尺度融合注意力的深度学习癌症分子分型预测方法。

技术介绍

[0002]世界卫生组织下属国际癌症研究机构(IARC)数据显示，2020年，中国新发癌症病例数约457万人，超过了世界其他国家。癌症已经成为重大的公共健康问题。准确的癌症预后分析有助于辅助医生做出诊疗判断，提高患者的生存机会及生存水平。在预后预测的方法中，分子分型提供了不小的帮助，而获得分子分型的方法却往往昂贵、耗时。因此，需要更便捷便宜的辅助方法。深度学习的发展为其提供了可能。比如Hinata M,Ushiku T.Detecting immunotherapy
‑
sensitive subtype in gastric cancer using histologic image
‑
based deep learning[J].Science Reports,2021,11:22636.在文中对胃腺癌患者利用迁移学习使用病理图像筛选对免疫检查点抑制剂高度敏感的EBV和MSI/dMMR两种分型，Acwa B,Me C,Jga B,et al.Deep Learning Predicts Molecular Subtype of Muscle
‑
invasive Bladder Cancer from Conventional Histopathological Slides[J].European Urology,2020,78(2):256
‑
264.在文中搭建mibCNN网络，使用病理图像预测膀胱癌MDA分型。由于全尺寸数字病理图像像素尺寸过大，大多方法将其在某一倍率下切分为小的图块进一步训练图块层面的分类模型。由于分子分型的确定往往来自于分子方法，在图像上的特征往往并不清晰，因而固定尺度无法充分探索相关特征，同时，也未充分利用到病理图像不同尺度的信息。在图块的训练过程中，对于图块本身，现有方法也未充分利用其信息，比如特征所侧重的通道等。

技术实现思路

[0003]鉴于现有技术中所存在的问题，本专利技术公开了一种多尺度融合注意力的深度学习癌症分子分型预测方法，采用的技术方案是，包括以下步骤：S1，数据获取及预处理，获取癌症患者分子分型，同时获取对应患者的全尺寸数字病理切片图像，根据癌种特点及该分子分型已知的相关病理知识选择适宜倍率对病理图像进行滑窗切分，获得非重叠固定尺寸的图块，若图像边缘切出的图块尺寸不足该固定尺寸，则抛弃，对剩余图块进行评估，根据像素值筛除有效组织在图块中占比不足50％的图块，并对剩余图块进行颜色标准化处理，统一染色空间；S2，筛选肿瘤图块，癌症分子分型与肿瘤相关性更高，标注坏死、纯间质、含肿瘤图块，由于此分类特征较为明显，分类难度相对较低，使用计算机视觉领域已有的分类网络进行迁移学习，获得训练好的模型后对所有图块筛选，筛选出含肿瘤图块；S3，构建多尺度融合注意力的深度神经网络模型，以ResNet
‑
50为主干网络，引入金字塔卷积PyConv模块和通道注意力SE模块，构建深度神经网络模型S4，图块分类模型训练，设置训练学习率、优化器、损失函数，将训练集图块随机裁
剪至(3,224,224)送入所搭建的神经网络中，计算损失值，反向传播后更新网络参数，迭代多次完成模型训练，实现图块分子分型的分类；S5，图块及病例预测，将测试集图块随机裁剪至(3,224,224)送入已训练好的模型，前向传播，获得最终图块的测试值，分子分型真值为病例层面的真值，因此将病例所有图块的预测值取均值表示该病例预测结果，实现病例分子分型的预测。
[0004]作为本专利技术的一种优选技术方案，将所述S3中多尺度融合注意力的深度神经网络模型搭建，送入网络的图块要求尺寸为(3,224,224)，网络搭建具体步骤如下：S301，网络起始搭建卷积层，批归一化层，经ReLU输出尺寸为(64,112,112)；S302，病理图像多尺度信息获取，由3个基本相同的金字塔卷积模型块组成；S303，图块通道注意力获取，搭建4个基本相同的注意力模块；S304，病理图像多尺度信息获取，由6个金字塔卷积模块组成；S305，病理图像信息获取，由3个金字塔卷积模块组成；S306，前序特征集合在此阶段经过自适应平均池化及全连接层，最终传递给输出，输出节点数量为分子分型的类别数量，输出结果即为各类别的预测概率。
[0005]作为本专利技术的一种优选技术方案，所述S302中，各模块分别由三组卷积层和批归一化层的组合串联，并经ReLU输出，其中第二组卷积层为金字塔卷积，三个金字塔卷积模块差别仅为第一个模块在最后加入一组最大池化层、卷积层和批归一化层的组合进行降采样，本阶段中所有金字塔卷积并列四个尺寸的卷积核，卷积核大小分别为3*3、5*5、7*7、9*9，构成金字塔形式，前序特征集合与各卷积核卷积后，对生成的特征进行拼接，该阶段最终输出尺寸为(256,56,56)的特征集合。
[0006]作为本专利技术的一种优选技术方案，所述S303中，仅第一个模块最后多一组最大池化层、卷积层和批归一化层的组合进行降采样，注意力模块将SE模块嵌入ResNet
‑
50的残差模块中，成为SE
‑
ResNet模块，该模块以残差模块为基础，在跳跃连接前首先通过全局池化将前序特征集合的空间维度压缩为实数作为通道描述符，再经过全连接层操作产生各通道权重映射至特征各通道，该阶段输出尺寸为(512,28,28)的特征集合。
[0007]作为本专利技术的一种优选技术方案，所述S304中，每个金字塔卷积中并列的卷积核为两个尺寸，分别为3*3、5*5，此阶段输出尺寸为(1024,14,14)的特征集合。
[0008]作为本专利技术的一种优选技术方案，所述S305中，与S302的差异在于此阶段共3个金字塔卷积模块，且每个金字塔卷积中仅一个尺寸为3*3的卷积核，由于金字塔卷积中只剩一个尺寸的卷积核，实际金字塔卷积降为卷积核为3*3的普通卷积层，此阶段输出尺寸为(2048,7,7)。
[0009]本专利技术的有益效果：本专利技术通过针对病理图像不同尺度引入信息侧重不同，搭建深度神经网络关注空间尺度信息，同时也关注了通道信息，从多个维度充分利用图块信息，在本身没有先验知识确定分子分型在病理图像中的特征表现时，充分利用不同尺度的空间信息，对模型训练的不同通道有所侧重使得模型更容易探索与分子分型相关的特征表现，提升预测性能。
附图说明
[0010]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体
实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，各元件或部分并不一定按照实际的比例绘制。
[0011]图1为本专利技术的癌症分子分型预测方法流程图；
[0012]图2为本专利技术的多尺度融合注意力的深度神经网络模型图；
[0013]图3为本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多尺度融合注意力的深度学习癌症分子分型预测方法，其特征在于：包括以下步骤：S1，数据获取及预处理，获取癌症患者分子分型，同时获取对应患者的全尺寸数字病理切片图像，根据癌种特点及该分子分型已知的相关病理知识选择适宜倍率对病理图像进行滑窗切分，获得非重叠固定尺寸的图块，若图像边缘切出的图块尺寸不足该固定尺寸，则抛弃，对剩余图块进行评估，根据像素值筛除有效组织在图块中占比不足50％的图块，并对剩余图块进行颜色标准化处理，统一染色空间；S2，筛选肿瘤图块，癌症分子分型与肿瘤相关性更高，标注坏死、纯间质、含肿瘤图块，由于此分类特征较为明显，分类难度相对较低，使用计算机视觉领域已有的分类网络进行迁移学习，获得训练好的模型后对所有图块筛选，筛选出含肿瘤图块；S3，构建多尺度融合注意力的深度神经网络模型，以ResNet
‑
50为主干网络，引入金字塔卷积PyConv模块和通道注意力SE模块，构建深度神经网络模型；S4，图块分类模型训练，设置训练学习率、优化器、损失函数，将训练集图块随机裁剪至长3,宽224,高224送入所搭建的神经网络中，计算损失值，反向传播后更新网络参数，迭代多次完成模型训练，实现图块分子分型的分类；S5，图块及病例预测，将测试集图块随机裁剪至长3,宽224,高224送入已训练好的模型，前向传播，获得最终图块的测试值，分子分型真值为病例层面的真值，因此将病例所有图块的预测值取均值表示该病例预测结果，实现病例分子分型的预测。2.根据权利要求1所述的一种多尺度融合注意力的深度学习癌症分子分型预测方法，其特征在于：将所述S3中多尺度融合注意力的深度神经网络模型搭建，送入网络的图块要求尺寸为长3,宽224,高224，网络搭建具体步骤如下：S301，网络起始搭建卷积层，批归一化层，经ReLU输出尺寸为长64,宽112,高112；S302，病理图像多尺度信息获取，由3个基本相同的金字塔卷积模型块组成；S303，图块通道注意力获取，搭建4个基本相同的注意力模块；S304，病理图像多尺度信息获取，由6个金字塔卷积模块组成；S305，病...

【专利技术属性】
技术研发人员：蒯玥，王洪玉，杨德勇，刘文龙，
申请(专利权)人：大连康智生物科技有限公司，
类型：发明
国别省市：