图像分割方法、装置及计算机设备制造方法及图纸

本申请提出了一种图像分割方法、装置及计算机设备，本申请预先通过对样本对象的完整模态样本图像和缺失模态样本图像进行对抗协同训练，得到能够实现对缺失模态样本图像的高精度分割处理的图像分割模型，这样，在实际应用中，医疗设备对待检测对象进行MRI扫描，获得至少一个模态样本图像后，即便未获得完整模态样本图像，将其输入该图像分割模型进行分割处理，也能够得到高精准度的图像分割结果，确定出目标对象区域，如脑肿瘤区域，满足应用场景的图像分割需求。的图像分割需求。的图像分割需求。

【技术实现步骤摘要】
图像分割方法、装置及计算机设备


[0001]本申请主要涉及图像处理
，更具体地说是涉及一种图像分割方法、装置及计算机设备。

技术介绍

[0002]脑肿瘤已经成为一种比较常见且发病率较高的疾病，目前通常是采用磁共振成像(Magnetic Resonance Imaging，MRI)方式进行脑部检查，获得多种模态MRI图像，结合图像分割技术，来识别出如增强肿瘤、瘤周水肿、坏死和无增强的肿瘤核等类别的肿瘤区域，以辅助医疗人员评估疾病状态和制定相应的治疗计划。
[0003]然而，在实际临床环境中，往往会因如设备损坏、设置不正确、扫描时间有限等各种因素，导致部分模态MRI图像无法使用或丢失，这种情况下，利用基于完整模态MRI图像训练得到的图像分割模型，对获得的缺失模态MRI图像进行处理，得到的图像分割结果的精准度较低，尤其是缺失模态较多的情况下，分割出的肿瘤区域很难满足应用需求。

技术实现思路

[0004]有鉴于此，本申请提供了一种图像分割方法，所述方法包括：
[0005]获取待检测对象的至少一个模态图像；
[0006]将所述至少一个模态图像输入图像分割模型进行分割处理，得到所述待检测对象的图像分割结果；其中，所述图像分割模型是通过对样本对象的完整模态样本图像和缺失模态样本图像进行对抗协同训练得到的；所述完整模态样本图像是指满足所述样本对象的模态类别要求的多模态样本图像；所述缺失模态样本图像是指未满足所述模态类别要求的至少一个模态样本图像；
[0007]输出所述待检测对象的图像分割结果。
[0008]可选的，所述对样本对象的完整模态样本图像和缺失模态样本图像进行对抗协同训练，包括：
[0009]获取样本对象的完整模态样本图像和缺失模态样本图像；
[0010]将所述完整模态样本图像输入第一分割网络，获得第一特征向量、完整模态特征向量以及完整预测概率图；其中，所述第一特征向量是指所述第一分割网络的第一特征提取网络中不同特征层输出的特征向量；所述完整模态特征向量是指所述第一特征提取网络输出的特征向量；所述完整预测概率图是指所述第一分割网络输出的分类预测概率图；
[0011]将所述缺失模态样本图像输入第二分割网络，获得第二特征向量、缺失模态特征向量以及缺失预测概率图；其中，所述第二特征向量是指所述第二分割网络的第二特征提取网络的不同特征层输出的特征向量；所述缺失模态特征向量是指所述第二特征提取网络输出的特征向量；所述缺失预测概率图是指所述第二分割网络输出的分类预测概率图；
[0012]将所述第一特征向量、所述第二特征向量、所述完整模态特征向量、所述缺失模态特征向量、所述完整预测概率图以及所述缺失预测概率图输入协同训练网络进行训练；
[0013]若满足训练结束条件，将训练后的网络结构确定为图像分割模型。
[0014]可选的，所述将所述第一特征向量、所述第二特征向量、所述完整模态特征向量、所述缺失模态特征向量、所述完整预测概率图以及所述缺失预测概率图输入协同训练网络进行训练，至少包括以下一种：
[0015]对所述第一特征向量和所述第二特征向量进行互信息学习，以恢复所述缺失模态样本图像的模态特征信息；
[0016]对所述完整模态特征向量和所述缺失模态特征向量进行对抗训练，以增加所述完整模态特征向量和所述缺失模态特征向量之间特征分布的一致性；
[0017]对所述完整预测概率图和所述缺失预测概率图进行熵对抗训练，以减小所述完整模态样本图像与所述缺失模态样本图像之间的熵图差异；
[0018]分别对所述完整预测概率图和所述缺失预测概率图进行处理，依据得到的相应图像分割结果的判别结果进行迭代训练，以减小不同图像分割结果之间的差异。
[0019]可选的，所述对所述第一特征向量和所述第二特征向量进行互信息学习，包括：
[0020]对同一特征层输出的所述第一特征向量和所述第二特征向量进行互信息计算，得到相应特征层的模态互信息；
[0021]调用互信息损失函数，对所述模态互信息进行损失计算，得到模态互信息损失值；
[0022]依据所述模拟互信息损失值调整网络参数，按照调整后的网络参数继续进行对抗协同训练。
[0023]可选的，所述对所述完整模态特征向量和所述缺失模态特征向量进行对抗训练，包括：
[0024]将所述完整模态特征向量和所述缺失模态特征向量输入第一判别网络，基于特征对抗损失函数进行对抗训练，得到本次训练的特征对抗损失值；
[0025]依据所述特征对抗损失值调整网络参数，按照调整后的网络参数继续进行对抗协同训练。
[0026]可选的，所述对所述完整预测概率图和所述缺失预测概率图进行熵对抗训练，包括：
[0027]获取所述完整预测概率图的完整模态熵图，以及所述缺失预测概率图的缺失模态熵图；
[0028]将所述完整模态熵图和所述缺失模态熵图输入第二判别网络，基于熵对抗损失函数进行对抗训练，得到本次训练的熵对抗损失值；
[0029]依据所述熵对抗损失值调整网络参数，按照调整后的网络参数继续进行对抗协同训练。
[0030]可选的，所述分别对所述完整预测概率图和所述缺失预测概率图进行处理，依据得到的相应图像分割结果的判别结果进行迭代训练，包括：
[0031]依据所述完整预测概率图，获得所述完整模态样本图像的完整图像分割结果；
[0032]依据所述缺失预测概率图，获得所述缺失模态样本图像的缺失图像分割结果；
[0033]利用分割损失函数，分别获取所述完整图像分割结果的完整分割损失值，以及所述缺失图像分割结果的缺失分割损失值；
[0034]依据所述完整分割损失值和所述缺失分割损失值调整网络参数，按照调整后的网
络参数继续进行对抗协同训练；所述网络参数包括所述第二分割网络的网络参数。
[0035]可选的，所述分别对所述完整预测概率图和所述缺失预测概率图进行处理，依据得到的相应图像分割结果的判别结果进行迭代训练，还包括：
[0036]获取所述缺失预测概率图相对于所述完整预测概率图的预测概率损失值；
[0037]所述依据所述完整分割损失值和所述缺失分割损失值调整网络参数，按照调整后的网络参数继续进行对抗协同训练，包括：
[0038]依据所述预测概率损失值、所述完整分割损失值和所述缺失分割损失值，调整网络参数，按照调整后的网络参数继续进行对抗协同训练。
[0039]又一方面，本申请还提出了一种图像分割装置，所述装置包括：
[0040]图像获取模块，用于获取待检测对象的至少一个模态图像；
[0041]图像分割处理模块，用于将所述至少一个模态图像输入图像分割模型进行分割处理，得到所述待检测对象的图像分割结果；其中，所述图像分割模型是通过对样本对象的完整模态样本图像和缺失模态样本图像进行对抗协同训练得到的；所述完整模态样本图像是指满足所述样本对象的模态类别要求的多模态样本图像；所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像分割方法，所述方法包括：获取待检测对象的至少一个模态图像；将所述至少一个模态图像输入图像分割模型进行分割处理，得到所述待检测对象的图像分割结果；其中，所述图像分割模型是通过对样本对象的完整模态样本图像和缺失模态样本图像进行对抗协同训练得到的；所述完整模态样本图像是指满足所述样本对象的模态类别要求的多模态样本图像；所述缺失模态样本图像是指未满足所述模态类别要求的至少一个模态样本图像；输出所述待检测对象的图像分割结果。2.根据权利要求1所述的方法，所述对样本对象的完整模态样本图像和缺失模态样本图像进行对抗协同训练，包括：获取样本对象的完整模态样本图像和缺失模态样本图像；将所述完整模态样本图像输入第一分割网络，获得第一特征向量、完整模态特征向量以及完整预测概率图；其中，所述第一特征向量是指所述第一分割网络的第一特征提取网络中不同特征层输出的特征向量；所述完整模态特征向量是指所述第一特征提取网络输出的特征向量；所述完整预测概率图是指所述第一分割网络输出的分类预测概率图；将所述缺失模态样本图像输入第二分割网络，获得第二特征向量、缺失模态特征向量以及缺失预测概率图；其中，所述第二特征向量是指所述第二分割网络的第二特征提取网络的不同特征层输出的特征向量；所述缺失模态特征向量是指所述第二特征提取网络输出的特征向量；所述缺失预测概率图是指所述第二分割网络输出的分类预测概率图；将所述第一特征向量、所述第二特征向量、所述完整模态特征向量、所述缺失模态特征向量、所述完整预测概率图以及所述缺失预测概率图输入协同训练网络进行训练；若满足训练结束条件，将训练后的网络结构确定为图像分割模型。3.根据权利要求2所述的方法，所述将所述第一特征向量、所述第二特征向量、所述完整模态特征向量、所述缺失模态特征向量、所述完整预测概率图以及所述缺失预测概率图输入协同训练网络进行训练，至少包括以下一种：对所述第一特征向量和所述第二特征向量进行互信息学习，以恢复所述缺失模态样本图像的模态特征信息；对所述完整模态特征向量和所述缺失模态特征向量进行对抗训练，以增加所述完整模态特征向量和所述缺失模态特征向量之间特征分布的一致性；对所述完整预测概率图和所述缺失预测概率图进行熵对抗训练，以减小所述完整模态样本图像与所述缺失模态样本图像之间的熵图差异；分别对所述完整预测概率图和所述缺失预测概率图进行处理，依据得到的相应图像分割结果的判别结果进行迭代训练，以减小不同图像分割结果之间的差异。4.根据权利要求3所述的方法，所述对所述第一特征向量和所述第二特征向量进行互信息学习，包括：对同一特征层输出的所述第一特征向量和所述第二特征向量进行互信息计算，得到相应特征层的模态互信息；调用互信息损失函数，对所述模态互信息进行损失计算，得到模态互信息损失值；依据所述模拟互信息损失值调整网络参数，按照调整后的网络参数...

【专利技术属性】
技术研发人员：王艺昕，田疆，
申请(专利权)人：联想北京有限公司，
类型：发明
国别省市：