图像分割融合的方法、装置、设备及存储介质制造方法及图纸

本申请提供了一种图像分割融合的方法、装置、设备及存储介质。所述方法包括：建立级联网络模型，其中，级联网络模型包括融合模块和分割模块；基于多个模态的预处理图像，对级联网络模型进行训练，获得融合模块的融合损失以及分割模块的分割损失；基于融合损失和分割损失优化融合模块和分割模块的参数，完成级联网络模型的训练；基于完成训练的级联网络模型对医学图像进行融合和分割，并获得分割结果。通过对融合模块和分割模块进行联合训练，可以在一定程度上在减少融合模块对应的融合损失，同时提高分割模块的分割性能，使融合图像更适用于脑肿瘤的分割。脑肿瘤的分割。脑肿瘤的分割。

【技术实现步骤摘要】
图像分割融合的方法、装置、设备及存储介质


[0001]本申请涉及图像处理领域，更具体地，涉及一种图像分割融合的方法、装置、设备及存储介质。

技术介绍

[0002]近年来，颅内肿瘤发病率呈上升趋势，据统计，颅内肿瘤约占全身肿瘤的5％，占儿童肿瘤的70％，而其它恶性肿瘤最终会有20
‑
30％转入颅内，由于肿瘤浸润性的生长，当肿瘤在颅内占据一定空间时，不论其性质是良性还是恶性，都势必引起颅内压升高，压迫脑组织，导致中枢神经损害，危及患者生命。
[0003]随着医学的发展，影像检查已经成为肿瘤临床诊断中重要的常规手段。核磁共振成像(Magnetic Resonance Imaging，简称MRI)可以生成多模态的医学图像，提供较多的图像信息，便于对病灶组织进行特征提取和图像分割等操作，因此，基于MRI图像的精确分割，判断肿瘤的边界对脑部肿瘤的诊断和治疗至关重要。
[0004]在实际临床过程中，需要医生基于经验进行对比分析，主观性强，实时性查，极易造成判断误差。目前，随着人工智能技术的发展，基于深度学习技术自动对患者的医学影像进行分析，获得肿瘤的分割结果，从而进行疾病的辅助诊断，良好的肿瘤分割结果在提取目标特征、分析和识别肿瘤等方面具有重要的意义。
[0005]因此，如何获得良好的肿瘤分割结果，提高肿瘤边界的清晰度是亟待解决的问题。

技术实现思路

[0006]本申请的一些实施方式提供了可至少部分解决现有技术中存在的上述问题的图像分割融合的方法、装置、设备及存储介质。r/>[0007]根据本申请的一个方面，提供一种图像分割融合的方法，所述方法可包括：建立级联网络模型，其中，所述级联网络模型包括融合模块和分割模块；基于多个模态的预处理图像，对所述级联网络模型进行训练，获得所述融合模块的融合损失以及所述分割模块的分割损失；基于所述融合损失和所述分割损失优化所述融合模块和所述分割模块的参数，完成所述级联网络模型的训练；基于完成训练的所述级联网络模型对医学图像进行融合和分割，并获得分割结果。
[0008]在本申请一个实施方式中，基于多个模态的预处理图像，对所述级联网络模型进行训练，获得所述融合模块的融合损失以及所述分割模块的分割损失，可包括：基于所述融合模块，将多个模态的所述预处理图像进行融合，获得融合图像以及对应的所述融合损失；基于所述分割模块，将所述融合图像进行分割，获得分割图像以及对应的所述分割损失。
[0009]在本申请一个实施方式中，所述方法还可包括：获取多个模态的医学图像，并对多个模态的所述医学图像进行预处理，获得对应的所述预处理图像。
[0010]在本申请一个实施方式中，基于所述融合模块，将多个模态的所述预处理图像进行融合，获得融合图像以及对应的所述融合损失，可包括：基于多层卷积网络，对所述预处
理图像进行上采样处理，获得所述融合图像以及对应的所述融合损失。
[0011]在本申请一个实施方式中，基于所述融合模块，将多个模态的所述预处理图像进行融合，获得融合图像以及对应的所述融合损失，可包括：确定所述融合图像的与每个模态下的所述预处理图像的子融合损失；计算所述融合图像的所述融合损失，其中，所述融合损失为所述子融合损失的平均值。
[0012]本申请另一方面提供了一种图像分割融合的装置，所述装置可包括：模型构建模块，用于建立级联网络模型，其中，所述级联网络模型包括融合模块和分割模块；训练模块，用于基于多个模态的预处理图像，对所述级联网络模型进行训练，获得所述融合模块的融合损失以及所述分割模块的分割损失；参数优化模块，用于基于所述融合损失和所述分割损失优化所述融合模块和所述分割模块的参数，完成所述级联网络模型的训练；图像处理模块，用于基于完成训练的所述级联网络模型对医学图像进行融合和分割，并获得分割结果。
[0013]在本申请一个实施方式中，所述融合模块可用于将多个模态的所述预处理图像进行融合，获得融合图像以及对应的所述融合损失；所述分割模块可用于将所述融合图像进行分割，获得分割图像以及对应的所述分割损失。
[0014]在本申请一个实施方式中，所述装置还可包括：图像预处理模块，用于获取多个模态的医学图像，并对多个模态的所述医学图像进行预处理，获得对应的所述预处理图像。
[0015]在本申请一个实施方式中，所述融合模块可用于：基于多层卷积网络，对所述预处理图像进行上采样处理，获得所述融合图像以及对应的所述融合损失。
[0016]在本申请一个实施方式中，所述融合模块可用于：确定所述融合图像的与每个模态下的所述预处理图像的子融合损失；计算所述融合图像的所述融合损失，其中，所述融合损失为所述子融合损失的平均值。
[0017]本申请再一方面提供了一种电子设备，所述电子设备可包括：处理器，适于执行计算机程序；以及计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被所述处理器执行时，实现上述任一项图像分割融合的方法。
[0018]本申请又一方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序使得计算机执行上述任一项图像分割融合的方法。
[0019]根据本申请示例性的实施方式，通过对融合模块和分割模块进行联合训练，可以在一定程度上在减少融合模块对应的融合损失，同时提高分割模块的分割性能，使融合图像更适用于脑肿瘤的分割。
附图说明
[0020]通过阅读参照以下附图所作的对非限制性实施例的详细描述，本申请的其它特征、目的和优点将会变得更明显。其中：
[0021]图1为根据本申请实施方式的图像分割融合的方法1000的流程图；
[0022]图2为根据本申请示例性实施方式的预处理图像进行分割融合的流程图；
[0023]图3为根据本申请示例性实施方式的预处理图像进行融合的过程示意图；
[0024]图4为根据本申请示例性实施方式的获得融合损失流程图；
[0025]图5为根据本申请实施方式的图像分割融合的装置2000的示意图；
[0026]图6是根据本公开的实施例的适于用来实现本公开的实施例的电子设备700的结构示意图。
具体实施方式
[0027]为了更好地理解本申请，将参考附图对本申请的各个方面做出更详细的说明。应理解，这些详细说明只是对本申请的示例性实施方式的描述，而非以任何方式限制本申请的范围。在说明书全文中，相同的附图标号指代相同的元件。表述“和/或”包括相关联的所列项目中的一个或多个的任何和全部组合。
[0028]在附图中，为了便于说明，已稍微调整了元素的大小、尺寸和形状。附图仅为示例而并非严格按比例绘制。如在本文中使用的，用语“大致”、“大约”以及类似的用语用作表近似的用语，而不用作表程度的用语，并且旨在说明将由本领域普通技术人员认识到的、测量值或计算值中的固有偏差。另外，在本申请中，各步骤处理描述的先后顺序并不必然表示这些处理在实际操作中出现的顺序，除非有明确其它限定本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像分割融合的方法，其特征在于，所述方法包括：建立级联网络模型，其中，所述级联网络模型包括融合模块和分割模块；基于多个模态的预处理图像，对所述级联网络模型进行训练，获得所述融合模块的融合损失以及所述分割模块的分割损失；基于所述融合损失和所述分割损失优化所述融合模块和所述分割模块的参数，完成所述级联网络模型的训练；基于完成训练的所述级联网络模型对医学图像进行融合和分割，并获得分割结果。2.根据权利要求1所述的图像分割融合的方法，其特征在于，基于多个模态的预处理图像，对所述级联网络模型进行训练，获得所述融合模块的融合损失以及所述分割模块的分割损失，包括：基于所述融合模块，将多个模态的所述预处理图像进行融合，获得融合图像以及对应的所述融合损失；基于所述分割模块，将所述融合图像进行分割，获得分割图像以及对应的所述分割损失。3.根据权利要求1所述的图像分割融合的方法，其特征在于，所述方法还包括：获取多个模态的医学图像，并对多个模态的所述医学图像进行预处理，获得对应的所述预处理图像。4.根据权利要求2所述的图像分割融合的方法，其特征在于，基于所述融合模块，将多个模态的所述预处理图像进行融合，获得融合图像以及对应的所述融合损失，包括：基于多层卷积网络，对所述预处理图像进行上采样处理，获得所述融合图像以及对应的所述融合损失。5.根据权利要求2所述的图像分割融合的方法，其特征在于，基于所述融合模块，将多个模态的所述预处理图像进行融合，获得融合图像以及对应的所述融合损失，包括：确定所述融合图像的与每个模态下的所述预处理图像的...

【专利技术属性】
技术研发人员：荆怡，蔡巍，张霞，
申请(专利权)人：沈阳东软智能医疗科技研究院有限公司，
类型：发明
国别省市：