【技术实现步骤摘要】
本专利技术涉及全切片病理图像分类，尤其涉及一种基于图神经网络的全切片病理图像分类方法。
技术介绍
1、在当代医学领域，数字病理学的兴起已经从根本上改变了组织病理学的实践方式，为准确诊断和有效治疗疾病带来了全新的可能性。数字病理学的关键技术之一是全切片病理图像数字化技术，该技术将整个组织切片能够以高分辨率的数字图像形式被扫描、存储和传输，极大地促进了计算机辅助诊断技术的发展。尽管深度学习在计算机视觉领域发挥着关键的作用，但在处理病理全切片图像时面临着独特的挑战：全切片病理图像的尺度过于庞大，无法直接输入到神经网络中；此外，对全切片病理图像进行区域性的精细标注十分耗时，因此全切片病理图像往往仅包含图像级别的标注。由于以上原因，基于多示例学习的方法是目前的主流方法，已经得到了广泛的应用，涵盖了癌症诊断、生存预测等多个领域。
2、在以往的基于多示例学习的方法中，存在两个明显的弊端。首先，这些方法通常假设所有示例都是独立同分布的，忽略了在实际全切片病理图像中不同区域的相关性。其次，这些方法未能充分利用全切片病理图像的多尺度信息。在病理医生的诊断过程中，需要综合考虑单个区域周围的环境信息以及不同区域之间的相关信息，因为全切片病理图像的不同区域之间具有很强的相关性。此外，病理医生进行诊断时，会在多个放大倍数下检查病理组织，根据先验知识和观察结果将注意力转移到不同的区域和全切片病理图像的放大上。以往的基于多示例学习的方法与病理医生的诊断方法存在较大的过程差异，导致了性能上的不足，因此，如何设计一种新的方法来克服以往方法的弊端、更好地
技术实现思路
1、本专利技术针对现有技术的不足，研制一种基于图神经网络的全切片病理图像分类方法。
2、本专利技术解决技术问题的技术方案为：
3、一种基于图神经网络的全切片病理图像分类方法，包括如下步骤：
4、g)对包含高低两个尺度的全切片病理图像数据集进行预处理，将每张全切片病理图像前景部分切分成图像块；
5、h)使用预训练的特征提取网络，对每张全切片病理图像的图像块进行特征提取，以获得特征嵌入，并将每张全切片病理图像的特征嵌入构建成图结构；
6、i)将低尺度图输入到低尺度网络，获得低尺度粗化图以及节点的注意力分数；
7、j)根据低尺度粗化图中节点的注意力分数，获取低尺度粗化图中高注意力节点的空间位置，以及低注意力节点所组成的低尺度低注意力粗化子图；根据低尺度粗化图中高注意力节点的空间位置，获取高尺度图中所对应位置的节点所组成的高尺度高注意力子图，将高尺度高注意力子图和低尺度低注意力粗化子图根据空间坐标和阈值连边以合并两个子图，形成混合尺度图；
8、k)将混合尺度图输入到混合尺度网络，获得混合尺度粗化图，并将混合尺度粗化图通过注意力机制进行读出操作，以实现分类预测；
9、l)将全切片病理图像数据集的图结构按照3:1的比例划分为训练集和验证集，并将训练集按照c)～e)所述依次输入到低尺度网络与混合尺度网络，并对分类预测进行监督，以实现低尺度网络与混合尺度网络的训练；训练完毕后，将验证集按照c)～e)所述依次输入到低尺度网络与混合尺度网络，以验证预测结果。
10、上述基于图神经网络的全切片病理图像分类方法，步骤a)包括如下步骤：
11、a-1)全切片病理图像数据集表达式如下：
12、n为数据集中全切片病理图像样本的数量，指数据集中第i个样本，为数据集中第i个样本的低尺度全切片病理图像，数据集中第i个样本的高尺度全切片病理图像
13、对进行下采样得到其缩略图对使用大津法二值化方法生成的前景区域掩膜将与和分别进行配准，获得的低尺度前景区域掩膜与的高尺度前景区域掩膜
14、a-2)使用滑动窗口方法将低尺度全切片病理图像切分成224×224大小的不重叠的图像块，同时依据的低尺度前景区域掩膜过滤到不属于前景部分的图片块，以得到其前景部分的图片块
15、使用滑动窗口方法将高尺度全切片病理图像切分成224×224大小的不重叠的图像块，同时依据的高尺度前景区域掩膜过滤到不属于前景部分的图片块，以得到其前景部分的图片块
16、m为第i个样本的低尺度全切片病理图像所得到的图片块的数量，为第i个样本的低尺度全切片病理图像的第j个图像块，j＝{1,2,...,m}，为第i个样本的高尺度全切片病理图像的第k个图像块，k＝{1,2,...,4m}；
17、a-3)记录下在中的空间位置坐标以及
18、在中的空间位置坐标
19、
20、为在中的空间位置坐标，包含纵坐标和横坐标为在中的空间位置坐标，包含纵坐标和横坐标
21、上述基于图神经网络的全切片病理图像分类方法，步骤b)包括如下步骤：
22、b-1)将低尺度全切片病理图像的前景图片块通过预训练的特征提取网络ctranspath进行特征提取，以获得前景图片块的特征嵌入其中为的特征嵌入，特征维度为768；
23、b-2)将低尺度全切片病理图像的图片块所提取的特征嵌入根据其在低尺度全切片病理图像中的8邻域空间位置关系组织成图结构其中将作为图的节点，将作为图的边，作为节点所对应的在低尺度全切片病理图像中所记录的空间位置坐标；
24、b-3)将高尺度全切片病理图像的前景图片块通过预训练的特征提取网络ctranspath进行特征提取，以获得图片块的特征嵌入其中为的特征嵌入，特征维度为768；
25、b-4)将高尺度全切片病理图像的图片块所提取的特征嵌入根据其在高尺度全切片病理图像中的8邻域空间位置关系组织成图结构其中将作为图的节点，将为图的边，为节点所对应的在高尺度全切片病理图像中所记录的空间位置坐标；
26、b-5)通过步骤a-1)到步骤b-4)后，数据集
27、被构建为其中为数据集r中第i个样本对应的图结构表示。
28、上述基于图神经网络的全切片病理图像分类方法，步骤c)包括如下步骤：
29、c-1)低尺度网络由第一lagt模块，第一attreadout读出模块，第一spsap池化层，第二attreadout读出模块组成；
30、c-2)第一lagt模块由具有gelu激活的非线性层、第一正则化层、图多头自注意力gmhsa层和第二正则化层组成，将低尺度全切片病理图像的前景图片块的特征嵌入输入到具有gelu激活的非线性层，得到特征特征维度为768,将特征输入到第一正则化层得到特征特征维度为768,将特征输入到图多头自注意力gmhsa层中，记节点的任一邻居节点为将与按照图多头自注意力gmhsa层的头数head_n将特征分割为与
31、
32、
33、其中为所切分出的第c个头的特征向量，特征维度为768/head_n，为所切分出的第c个头的特征向量，特征维度为7本文档来自技高网...
【技术保护点】
1.一种基于图神经网络的全切片病理图像分类方法，其特征是：包括如下步骤：
2.根据权利要求1所述的一种基于图神经网络的全切片病理图像分类方法，其特征是：步骤a)包括如下步骤：
3.根据权利要求1所述的一种基于图神经网络的全切片病理图像分类方法，其特征是：步骤b)包括如下步骤：
4.根据权利要求1所述的一种基于图神经网络的全切片病理图像分类方法，其特征是：步骤c)包括如下步骤：
5.据权利要求1所述的基一种基于图神经网络的全切片病理图像分类方法，其特征是：步骤d)包括如下步骤：
6.据权利要求1所述的一种基于图神经网络的全切片病理图像分类方法，其特征是：步骤e)包括如下步骤：
7.据权利要求1所述的一种基于图神经网络的全切片病理图像分类方法，其特征是：步骤f)包括如下步骤：
【技术特征摘要】
1.一种基于图神经网络的全切片病理图像分类方法，其特征是：包括如下步骤：
2.根据权利要求1所述的一种基于图神经网络的全切片病理图像分类方法，其特征是：步骤a)包括如下步骤：
3.根据权利要求1所述的一种基于图神经网络的全切片病理图像分类方法，其特征是：步骤b)包括如下步骤：
4.根据权利要求1所述的一种基于图神经网络的全切片病理图像分类...
【专利技术属性】
技术研发人员：李金宝，王琪琛，郭亚红，高天雷，魏诺，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。