全视野组织学图像的处理方法、装置、介质和电子设备制造方法及图纸

本公开涉及一种全视野组织学图像的处理方法、装置、介质和电子设备，涉及图像处理技术领域，该方法包括：对指定部位的多个全视野组织学图像进行分割，得到每个全视野组织学图像对应的多个图像块，根据所有全视野组织学图像对应的多个图像块，生成异构图，异构图包括节点集和边集，节点集包括由每个图像块对应的图像特征和该图像块对应的分辨率组成的节点，边集包括用于表征各节点之间空间关系的空间边，和用于表征各节点之间分辨率关系的分辨率边，从异构图中提取出因果子图，因果子图包括的特征与环境子图的分布不相关，根据因果子图确定指定部位对应的指示信息，指示信息用于表征指定部位的状态，和/或指定部位中的目标区域。和/或指定部位中的目标区域。和/或指定部位中的目标区域。

【技术实现步骤摘要】
全视野组织学图像的处理方法、装置、介质和电子设备


[0001]本公开涉及图像处理
，具体地，涉及一种全视野组织学图像的处理方法、装置、介质和电子设备。

技术介绍

[0002]随着人工智能相关技术的不断发展，深度神经网络在图像处理
中得到了广泛的应用。通常情况下，深度神经网络能够处理的图像尺寸较小，例如255*255或者512*512。然而全视野组织学图像(英文：Histopathological Whole
‑
slide Image，缩写：WSI)作为很多诊断的黄金标准，往往由于像素数量过大(例如80000*80000，甚至200000*2000000，占据100M到10G的存储空间)，而无法直接使用深度神经网络来处理。

技术实现思路

[0003]提供该
技术实现思路
部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该
技术实现思路
部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0004]第一方面，本公开提供一种全视野组织学图像的处理方法，所述方法包括：
[0005]对指定部位的多个全视野组织学图像进行分割，得到每个所述全视野组织学图像对应的多个图像块，每个所述全视野组织学图像对应的分辨率不同；
[0006]根据所有所述全视野组织学图像对应的多个所述图像块，生成异构图，所述异构图包括节点集和边集，所述节点集包括由每个所述图像块对应的图像特征和该图像块对应的分辨率组成的节点，所述边集包括用于表征各节点之间空间关系的空间边，和用于表征各节点之间分辨率关系的分辨率边；
[0007]从所述异构图中提取出因果子图，所述因果子图包括的特征与环境子图的分布不相关，所述环境子图为所述异构图中除所述因果子图之外的区域；
[0008]根据所述因果子图确定所述指定部位对应的指示信息，所述指示信息用于表征所述指定部位的状态，和/或所述指定部位中的目标区域。
[0009]第二方面，本公开提供一种全视野组织学图像的处理装置，所述装置包括：
[0010]分割模块，用于对指定部位的多个全视野组织学图像进行分割，得到每个所述全视野组织学图像对应的多个图像块，每个所述全视野组织学图像对应的分辨率不同；
[0011]生成模块，用于根据所有所述全视野组织学图像对应的多个所述图像块，生成异构图，所述异构图包括节点集和边集，所述节点集包括由每个所述图像块对应的图像特征和该图像块对应的分辨率组成的节点，所述边集包括用于表征各节点之间空间关系的空间边，和用于表征各节点之间分辨率关系的分辨率边；
[0012]提取模块，用于从所述异构图中提取出因果子图，所述因果子图包括的特征与环境子图的分布不相关，所述环境子图为所述异构图中除所述因果子图之外的区域；
[0013]处理模块，用于根据所述因果子图确定所述指定部位对应的指示信息，所述指示
信息用于表征所述指定部位的状态，和/或所述指定部位中的目标区域。
[0014]第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现本公开第一方面所述方法的步骤。
[0015]第四方面，本公开提供一种电子设备，包括：
[0016]存储装置，其上存储有计算机程序；
[0017]处理装置，用于执行所述存储装置中的所述计算机程序，以实现本公开第一方面所述方法的步骤。
[0018]通过上述技术方案，本公开首先对指定部位的多个不同分辨率的全视野组织学图像进行分割，得到每个全视野组织学图像对应的多个图像块，之后根据所有全视野组织学图像对应的多个图像块，生成异构图，其中异构图包括节点集和边集，再从异构图中提取出与环境子图的分布不相关的因果子图，最后根据因果子图确定指定部位对应的指示信息，其中指示信息用于表征指定部位的状态，和/或指定部位中的目标区域。本公开通过构建能够表征图像特征、空间关系和分辨率关系的异构图，从中提取出满足分布不变性的因果子图，并以此确定指示信息，实现了本质上可解释的全视野组织学图像的识别。
[0019]本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0020]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：
[0021]图1是根据一示例性实施例示出的一种全视野组织学图像的处理方法的流程图；
[0022]图2是根据一示例性实施例示出的另一种全视野组织学图像的处理方法的流程图；
[0023]图3是根据一示例性实施例示出的一种处理模型的结构图；
[0024]图4是根据一示例性实施例示出的另一种全视野组织学图像的处理方法的流程图；
[0025]图5是根据一示例性实施例示出的另一种全视野组织学图像的处理方法的流程图；
[0026]图6是根据一示例性实施例示出的另一种处理模型的结构图；
[0027]图7是根据一示例性实施例示出的一种训练处理模型的流程图；
[0028]图8是根据一示例性实施例示出的另一种训练处理模型的流程图；
[0029]图9是根据一示例性实施例示出的一种全视野组织学图像的处理装置的框图；
[0030]图10是根据一示例性实施例示出的另一种全视野组织学图像的处理装置的框图；
[0031]图11是根据一示例性实施例示出的另一种全视野组织学图像的处理装置的框图；
[0032]图12是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
[0033]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这
里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0034]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0035]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
[0036]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0037]需要注意，本公开中提及的“一个”、“多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种全视野组织学图像的处理方法，其特征在于，所述方法包括：对指定部位的多个全视野组织学图像进行分割，得到每个所述全视野组织学图像对应的多个图像块，每个所述全视野组织学图像对应的分辨率不同；根据所有所述全视野组织学图像对应的多个所述图像块，生成异构图，所述异构图包括节点集和边集，所述节点集包括由每个所述图像块对应的图像特征和该图像块对应的分辨率组成的节点，所述边集包括用于表征各节点之间空间关系的空间边，和用于表征各节点之间分辨率关系的分辨率边；从所述异构图中提取出因果子图，所述因果子图包括的特征与环境子图的分布不相关，所述环境子图为所述异构图中除所述因果子图之外的区域；根据所述因果子图确定所述指定部位对应的指示信息，所述指示信息用于表征所述指定部位的状态，和/或所述指定部位中的目标区域。2.根据权利要求1所述的方法，其特征在于，所述根据所有所述全视野组织学图像对应的多个所述图像块，生成异构图，包括：对每个所述图像块进行特征提取，得到该图像块对应的图像特征；将每个所述图像块对应的图像特征和该图像块对应的分辨率作为一个节点，生成所述节点集；在同一所述全视野组织学图像中任意两个相邻的图像块对应的两个节点之间构建一个空间边，在任意两个对应所述指定部位同一区域且分辨率相邻的图像块对应的两个节点之间构建一个分辨率边，生成所述边集；根据所述节点集和所述边集生成所述异构图。3.根据权利要求1所述的方法，其特征在于，所述从所述异构图中提取出因果子图，包括：将所述异构图输入预先训练的处理模型中的提取器，以得到所述因果子图；所述根据所述因果子图确定所述指定部位对应的指示信息，包括：将所述因果子图输入所述处理模型中的编码器，以得到用于表征所述因果子图的因果图像特征；将所述因果图像特征输入所述处理模型中的分类器，以得到所述指定部位的状态；和/或，根据所述因果子图，在所述全视野组织学图像中确定所述目标区域。4.根据权利要求3所述的方法，其特征在于，所述将所述异构图输入预先训练的处理模型中的提取器，以得到所述因果子图，包括：将所述异构图输入所述提取器，确定每个所述空间边的影响度和每个所述分辨率边的影响度；对每个所述空间边的影响度进行排序确定因果空间边，对每个所述分辨率边的影响度进行排序确定因果分辨率边；根据所述因果空间边和所述因果分辨率边，确定所述因果子图。5.根据权利要求4所述的方法，其特征在于，所述提取器包括图神经网络、第一多层感知机和第二多层感知机，所述将所述异构图输入所述提取器，确定每个所述空间边的影响度和每个所述分辨率边的影响度，包括：将所述异构图输入所述图神经网络，得到所述异构图对应的图结构特征；
将所述图结构特征输入所述第一多层感知机，得到每个所述空间边的影响度；将所述图结构特征输入所述第二多层感知机，得到每个所述分辨率边的影响度。6.根据权利要求4所述的方法，其特征在于，所述根据所述因果空间边和所述因果分辨率边，确定所述因果子图，包括：将满足分辨率因果条件的所述因果分辨率边和所述因果空间边，作为因果边集，将所述因果边集连接的节点作为因果节点集，所述分辨率因果条件为：针对每个所述因果节点，若该因果节点不为根节点，存在一个属于所述因果边集的因果分辨率边连接该因果节点与对应的母节点，所述根节点为分辨率最低的节点，所述母节点的分辨率小于该因果节点的分辨率；根据所述因果边集和所述因果节点集确定所述因果子图。7.根据权利要求3...

【专利技术属性】
技术研发人员：边成，张志诚，李永会，
申请(专利权)人：抖音视界有限公司，
类型：发明
国别省市：