基于多模态卷积神经网络的病理预后分析方法及系统技术方案

本发明专利技术提出了一种基于多模态卷积神经网络的病理预后分析方法及系统。该方法为：获取组织病理图像集、免疫组化标记图像集；建立多模态预后分析网络，所述多模态预后分析网络包括组织病理图像筛选网络、免疫组化图像筛选网络以及特征融合网络；将组织病理图像于组织病理图像筛选网络中进行典型组织病理特征区域筛选，将免疫组化标记图像集于免疫组化图像筛选网络中进行典型免疫特征区域筛选；将筛选得到的典型组织病理特征区域与典型免疫特征区域于特征融合网络中进行跨模态特征融合,并进行预后状态预测。该病理预后分析方法通过组织病理图像筛选网络、免疫组化图像筛选网络以及特征融合网络的结合，能有效地预测患者的预后状态是不良还是良好。状态是不良还是良好。状态是不良还是良好。

【技术实现步骤摘要】
基于多模态卷积神经网络的病理预后分析方法及系统


[0001]本专利技术涉及图像处理领域，具体涉及一种基于多模态卷积神经网络的病理预后分析方法及系统。

技术介绍

[0002]低度恶性的性索间质类肿瘤，是一种易远期复发，复发后五年生存率显著降低的肿瘤，因此其预后评估对临床医生的诊断决策与制定治疗方案具有重要意义，稳定可靠的评估方法将有助于临床医生掌握诊疗主动权，提高患者的远期生存率。以卵巢粒层细胞瘤(granulosa cell tumor of ovary,GCT)为例，其也是一类具有低度恶性的性索间质类肿瘤。针对卵巢GCT预后评估，国内外学术界均进行了大量研究，试图找到较为稳定可靠的卵巢GCT预后相关指标，进而为肿瘤术后治疗及疗效评估提供依据。通过分析已有研究，我们发现卵巢GCT的各类病理特征与临床预后有显著相关性，但不同研究的结论间仍存在较多矛盾和争议。现有研究大多采用逻辑回归、卡方分析等传统统计方法，对单一因素与肿瘤复发相关性做出评判，其预后相关病理指标的差异尚不明确，且不同文献结果差异较大，难以为临床医生提供可靠的判断决策依据。为了尝试解决上述问题，有文献提出了基于半监督协同智能模型的卵巢GCT预后分析方法，也有文献提出了基于协同森林智能模型的卵巢GCT预后分析方法。但上述方法存在数据特征需要人工设计，以及对病例数据中多模态信息应用不足等局限。

技术实现思路

[0003]为了克服上述现有技术中存在的缺陷，本专利技术的目的是提供一种基于多模态卷积神经网络的病理预后分析方法及系统。
[0004]为了实现本专利技术的上述目的，本专利技术提供了一种基于多模态卷积神经网络的病理预后分析方法，包括以下步骤：
[0005]获取组织病理图像集、免疫组化标记图像集；
[0006]建立多模态预后分析网络，所述多模态预后分析网络包括组织病理图像筛选网络、免疫组化图像筛选网络以及特征融合网络；
[0007]将组织病理图像集、免疫组化标记图像集于多模态预后分析网络进行训练：将组织病理图像于组织病理图像筛选网络中进行典型组织病理特征区域筛选，将免疫组化标记图像集于免疫组化图像筛选网络中进行典型免疫特征区域筛选；将筛选得到的典型组织病理特征区域与典型免疫特征区域于特征融合网络中进行跨模态特征融合,并进行预后状态预测；
[0008]将待分析的病理图像于训练后的多模态预后分析网络中进行分析。
[0009]该病例预后分析方法通过组织病理图像筛选网络、免疫组化图像筛选网络以及特征融合网络的结合，能有效地预测患者的预后状态是不良还是良好。这样即保留了针对典型特征区域的精细细节特征的识别能力，同时兼顾组织病理图像及多种免疫组化标记图像
的整体特征，提高了预后分析的准确性。
[0010]该基于多模态卷积神经网络的病理预后分析方法的优选方案：在对多模态预后分析网络进行训练前，先分别对组织病理图像筛选网络、免疫组化图像筛选网络进行单独训练。
[0011]该基于多模态卷积神经网络的病理预后分析方法的优选方案：组织病理图像于组织病理图像筛选网络中进行典型组织病理特征区域筛选的筛选策略为：
[0012]将组织病理图像集中的图像均匀划分为图像块，判断每个图像块的图像块类别，并统计每个图像块类别的图像块数量，以图像块数量最多的前C
P
种图像类别作为优势类别；针对优势类别，按照各图像块类别对应图像块数量的比例，确定输出的典型组织病理特征图像块。
[0013]进一步的，判断每个图像块的图像块类别时，使用轻量级分类网络LCN、中量级分类网络MCN、重量级分类网络HCN对每个图像块进行图像块类别判断；并按以下公式对图像块进行筛，并统计每个图像块类别的图像块数量；
[0014]其中，C
LCN
(patch
i
)、C
MCN
(patch
i
)、C
HCN
(patch
i
)分别代表轻量级分类网络LCN、中量级分类网络MCN、重量级分类网络HCN针对第i个图像块patch
i
判断的图像类别；P
LCN
(patch
i
)、P
MCN
(patch
i
)、P
HCN
(patch
i
)分别代表轻量级分类网络LCN、中量级分类网络MCN、重量级分类网络HCN针对第i个图像块patch
i
判断图像类型所对应的置信度。
[0015]这里通过轻量级分类网络LCN、中量级分类网络MCN、重量级分类网络HCN来兼顾图像块中的低阶特征、中阶特征、高阶特征，增强了网络的特征学习能力，提升图像块类型判断的准确性。
[0016]进一步的，组织病理图像筛选网络的输出为其中，pathology代表该病例对应的组织病理图像、为组织病理图像筛选网络的可训练参数；
[0017]代表组织病理图像筛选网络输出的符合筛选策略的典型特征图像块的集合；TOP
‑
N
c
表示根据优势类别图像块，确定所输出的典型特征图像块数量；
[0018]网络MMD
PS
(
·
)的参数集的训练过程为以下最小化问题：
[0019]其中，β
PS
‑1*WCE
LCN
+β
PS
‑2*WCE
MCN
+β
PS
‑3*WCE
HCN
+δ
PS
为组织病理图像筛选网络的损失函数LOSS1：WCE
LCN
为轻量级判别网络LCN针对图像块类型的预测值与图像块实际类型的交叉熵，WCE
MCN
为中量级判别网络MCN针对图像块类型的预测值与图像块实际类型的交叉熵，WCE
HCN
为重量级判别
网络HCN针对图像块类型的预测值与图像块实际类型的交叉熵，β
PS
‑1、β
PS
‑2、β
PS
‑3分别是用于调节交叉熵WCE
LCN
、WCE
MCN
、WCE
HCN
的权重系数，当组织病理图像筛选网络自身对图像块patch
i
的类型判别正确时，幂指数μ取值为1，若判别错误则幂指数μ取值为2，δ
PS
为小于1的正数。
[0020]该优选方案中，组织病理图像筛选网络的损失函数体现了针对发生了判别错误的图像块，其对损失函数的贡献则增加，即确保对于难样本，施加更大的训练权重。
[0021]该基于多模态卷积神经网络的病理预后分析方法的优选方案：免疫组化标记图像集于免疫组化图像筛选网络中进行典型免疫特征区域筛选的筛选策略为：
[0022]将免疫组化标记图像集中的图像均匀划分为图像块，判断每个图像块中是否含有阳性细胞，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态卷积神经网络的病理预后分析方法，其特征在于，包括以下步骤：获取组织病理图像集、免疫组化标记图像集；建立多模态预后分析网络，所述多模态预后分析网络包括组织病理图像筛选网络、免疫组化图像筛选网络以及特征融合网络；将组织病理图像集、免疫组化标记图像集于多模态预后分析网络进行训练：将组织病理图像于组织病理图像筛选网络中进行典型组织病理特征区域筛选，将免疫组化标记图像集于免疫组化图像筛选网络中进行典型免疫特征区域筛选；将筛选得到的典型组织病理特征区域与典型免疫特征区域于特征融合网络中进行跨模态特征融合,并进行预后状态预测；将待分析的病理图像于训练后的多模态预后分析网络中进行分析。2.根据权利要求1所述的基于多模态卷积神经网络的病理预后分析方法，其特征在于，在对多模态预后分析网络进行训练前，先分别对组织病理图像筛选网络、免疫组化图像筛选网络进行单独训练。3.根据权利要求1所述的基于多模态卷积神经网络的病理预后分析方法，其特征在于，组织病理图像于组织病理图像筛选网络中进行典型组织病理特征区域筛选的筛选策略为：将组织病理图像集中的图像均匀划分为图像块，判断每个图像块的图像块类别，并统计每个图像块类别的图像块数量，以图像块数量最多的前C
P
种图像类别作为优势类别；针对优势类别，按照各图像块类别对应图像块数量的比例，确定输出的典型组织病理特征图像块。4.根据权利要求3所述的基于多模态卷积神经网络的病理预后分析方法，其特征在于，判断每个图像块的图像块类别时，使用轻量级分类网络LCN、中量级分类网络MCN、重量级分类网络HCN对每个图像块进行图像块类别判断；并按以下公式对图像块进行筛，并统计每个图像块类别的图像块数量；其中，C
LCN
(patch
i
)、C
MCN
(patch
i
)、C
HCN
(patch
i
)分别代表轻量级分类网络LCN、中量级分类网络MCN、重量级分类网络HCN针对第i个图像块patch
i
判断的图像类别；P
LCN
(patch
i
)、P
MCN
(patch
i
)、P
HCN
(patch
i
)分别代表轻量级分类网络LCN、中量级分类网络MCN、重量级分类网络HCN针对第i个图像块patch
i
判断图像类型所对应的置信度。5.根据权利要求4所述的基于多模态卷积神经网络的病理预后分析方法，其特征在于，组织病理图像筛选网络的输出为其中，pathology代表该病例对应的组织病理图像、为组织病理图像筛选网络的可训练参数；代表组织病理图像筛选网络输出的符合筛选策略的典型特征图像块的集合；TOP
‑
N
c
表示根据优势类别图像块，确定所输出的典型特征图像块数量；网络MMD
PS
(
·
)的参数集的训练过程为以下最小化问题：
其中，β
PS
‑1*WCE
LCN
+β
PS
‑2*WCE
MCN
+β
PS
‑3*WCE
HCN
+δ
PS
为组织病理图像筛选网络的损失函数LOSS1：WCE
LCN
为轻量级判别网络LCN针对图像块类型的预测值与图像块实际类型的交叉熵，WCE
MCN
为中量级判别网络MCN针对图像块类型的预测值与图像块实际类型的交叉熵，WCE
HCN
为重量级判别网络HCN针对图像块类型的预测值与图像块实际类型的交叉熵，β
PS
‑1、β
PS
‑2、β
PS
‑3分别是用于调节交叉熵WCE
LCN
、WCE
MCN
、WCE
HCN
的权重系数，当组织病理图像筛选网络自身对图像块patch
i
的类型判别正确时，幂指数μ取值为1，若判别错误则幂指数μ取值为2，δ
PS
为小于1的正数。6.根据权利要求1所述的基于多模态卷积神经网络的病理预后分析方法，其特征在于，免疫组化标记图像集于免疫组化图像筛选网络中进行典型免疫特征区域筛选的筛选策略为：将免疫组化标记图像集中的图像均匀划分为图像块，判断每个图像块中是否含有阳性细胞，并对含阳性细胞的图像块进行阳性细胞提取，统计图像块中阳性细胞的比例，并筛选出典型阳性细胞区域，得到典型免疫特征图像块。7.根据权利要求6所述的基于多模态卷积神经网络的病理预后分析方法，其特征在于，判断每个图像块中是否含有阳性细胞时，根据公式进行判断，其中，PDM指阳性判别模块，PDM(patch
i
)＝POSITIVE表示针对第i个图像块的判别类型为阳性POSITIVE，该公式表示图像块i中含有阳性细胞，且该图像块判别的置信度Conf(patch
i
)大于阈值T
positive
。8.根据权利要求6所述的基于多模态卷积神经网络的病理预后分析方法，其特征在于，对含阳性细胞的图像块进行阳性细胞提取时，根据公式进行提取，其中Mask(
·
)表征每个类别的语义预测表，对其添加一个线性变...

【专利技术属性】
技术研发人员：廖欣，李康，许春燕，田博，周頔，郑欣，
申请(专利权)人：四川大学，
类型：发明
国别省市：