一种基于先验-后验概率编码器的多模态MR图像分割方法技术

本发明专利技术公开了一种基于先验

【技术实现步骤摘要】
一种基于先验
‑
后验概率编码器的多模态MR图像分割方法


[0001]本专利技术属于图像处理领域，更具体地，涉及一种基于先验
‑
后验概率编码器的多模态MR图像分割方法。

技术介绍

[0002]医学图像分割将现代计算机自动化技术运用到医学图像处理之中，通过分割医学图像中具有特殊含义的部分(例如各个器官或肿瘤)，并提取相关特征，为诊断分类等医学图像其它后续工作提供更准确的处理结果。在MR的成像过程中，来自多个成像模态(例如T1加权序列图像，T2加权序列图像，FLAIR序列图像等)的图像具有相同的解剖结构，但每个模态显示出独特的软组织对比度，使得来自多模态的互补信息比来自单个成像模态的信息具有更好的预测能力。基于多个模态图像的分割技术关键点在于将来自不同图像源的信息进行有效融合，并在不同模态信息出现矛盾时进行准确的判断和选择。现有研究已经对特征融合的最佳位置做了很详尽的探讨，例如前期融合、后期融合和多层融合。然而，大多数网络采用的融合方式仍然是特征图的简单拼接或相加，并没有额外的信息作为融合指导。现有方法的优点在于操作简洁、通用性强，但其特征融合效果差，难以处理复杂多模态信息的选择问题。

技术实现思路

[0003]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于先验
‑
后验概率编码器的多模态MR图像分割方法，由此解决现有的图像分割方法对多模态图像的融合效果差的技术问题。
[0004]为实现上述目的，按照本专利技术的第一方面，提供了一种基于先验
‑
后验概率编码器的多模态MR图像分割方法，包括：
[0005]训练阶段：
[0006]以多模态MR图像为训练样本，以所述多模态MR图像的分割图像为标签，对概率融合模型进行训练；其中，所述概率融合模型包括特征提取模块、先验编码器及多模融合模块；
[0007]所述训练阶段的损失函数包括后验概率向量及先验概率向量之间的余弦相似度损失，以及分割结果与标签图像之间的交叉熵损失；
[0008]其中，所述先验概率向量由所述先验编码器对经通道拼接后的多模态MR图像进行编码后得到；所述分割结果由所述多模融合模块根据所述先验概率向量对所述特征提取模块输出的多模态特征图进行加权求和及上采样处理后得到；所述后验概率向量为将所述多模态特征图及标签图像进行通道拼接后输入至后验编码器进行编码后得到；
[0009]应用阶段：
[0010]将待分割的MR图像输入至训练好的概率融合模型，得到分割结果。
[0011]优选地，所述多模融合模块根据所述先验概率向量对所述多模态特征图进行加权
求和得到融合特征图，并通过跳跃连接，在融合特征图的上采样过程中结合所述特征提取模块进行特征提取时生成的中间特征图，得到分割结果。
[0012]优选地，所述先验编码器根据所述特征提取模块进行特征提取时生成的中间特征图，对经通道拼接后的多模态特征图进行编码后得到先验概率向量；
[0013]所述后验编码器根据所述特征提取模块进行特征提取时生成的中间特征图，对将所述多模态特征图及标签图像进行通道拼接后生成的拼接图像进行编码后得到后验概率向量。
[0014]优选地，所述先验概率向量w
pri
与所述融合特征图y
fusion
满足以下关系式：
[0015]y
fusion
＝concat(w
pri
·
y
feature_a
,(1
‑
w
pri
)
·
y
feature_b
)；
[0016]其中，y
feature_a
、y
feature_b
分别为模态a、b的特征图。
[0017]优选地，所述训练阶段的损失函数包括后验概率向量及先验概率向量之间的余弦相似度损失为：
[0018][0019]其中，w
pri
和w
pos
分别为先验概率向量和后验概率向量。
[0020]优选地，所述损失函数为：
[0021]L＝L
entropy
+αL
cos
；
[0022]其中，L
entropy
为交叉熵损失，a为权重因子。
[0023]优选地，所述先验编码器及后验编码器均包括多个依次连接的下采样层及池化层。
[0024]按照本专利技术的第二方面，提供了一种基于先验
‑
后验概率编码器的多模态MR图像分割系统，包括：计算机可读存储介质和处理器；
[0025]所述计算机可读存储介质用于存储可执行指令；
[0026]所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行如第一方面所述的方法。
[0027]总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
[0028]1、本专利技术提供的方法，通过先验
‑
后验概率编码器在训练过程中生成各个分支网络的权重向量，通过学习已有数据的模式，分配网络对不同模态特征图的注意焦点，在多模网络中实施更有针对性的局部加权融合，提高网络判断多源信息置信度的能力，最终提高分割精度与模型鲁棒性。
[0029]2、本专利技术提供的方法，结合了前期融合和多层融合的思路，通过下采样和上采样之间的跳跃连接，在融合以外保留了单独模态的特异信息，有益于处理不同图像源提供的互补与矛盾信息。
[0030]3、本专利技术提供的方法，提出了一种基于先验
‑
后验概率编码器的深度学习网络框架和对应的概率融合模型训练方法；先验
‑
后验编码器结合多模态信息，将不同模态的置信信息用于端到端网络的通道维加权融合，同时结合了编码过程中的多尺度特征信息，在不同分辨率上考虑信息编码，能够促进来自不同成像模态的信息高效融合，从而提高MRI的分割精度。
附图说明
[0031]图1为本专利技术实施例提供的训练阶段流程示意图；
[0032]图2中的(a)、(b)分别为本专利技术实施例提供的概率编码模块、多模融合模块结构示意图。
具体实施方式
[0033]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0034]本专利技术实施例提供一种基于先验
‑
后验概率编码器的多模态MR图像分割方法，如图1所示，包括：
[0035]训练阶段：
[0036]以多模态MR图像为训练样本，以所述多模态MR图像的分割图像为标签，对概率融合模型进行训练；其中，所述概率融合模型包括特征提取模块、先验编本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于先验
‑
后验概率编码器的多模态MR图像分割方法，其特征在于，包括：训练阶段：以多模态MR图像为训练样本，以所述多模态MR图像的分割图像为标签，对概率融合模型进行训练；其中，所述概率融合模型包括特征提取模块、先验编码器及多模融合模块；所述训练阶段的损失函数包括后验概率向量及先验概率向量之间的余弦相似度损失，以及分割结果与标签图像之间的交叉熵损失；其中，所述先验概率向量由所述先验编码器对经通道拼接后的多模态MR图像进行编码后得到；所述分割结果由所述多模融合模块根据所述先验概率向量对所述特征提取模块输出的多模态特征图进行加权求和及上采样处理后得到；所述后验概率向量为将所述多模态特征图及标签图像进行通道拼接后输入至后验编码器进行编码后得到；应用阶段：将待分割的MR图像输入至训练好的概率融合模型，得到分割结果。2.如权利要求1所述的方法，其特征在于，所述多模融合模块根据所述先验概率向量对所述多模态特征图进行加权求和得到融合特征图，并通过跳跃连接，在融合特征图的上采样过程中结合所述特征提取模块进行特征提取时生成的中间特征图，得到分割结果。3.如权利要求1或2所述的方法，其特征在于，所述先验编码器根据所述特征提取模块进行特征提取时生成的中间特征图，对经通道拼接后的多模态特征图进行编码后得到先验概率向量；所述后验编码器根据所述特征提取模块进行特征提取时生成的中间特征图，对将所述多模态特征图及标签图像进行通道拼接后生成的拼接图像进行编码后得到后验概率向量。4.如权利要求1所述的方法，其特征在于，所述先验概率向量w
pri
与所述融...

【专利技术属性】
技术研发人员：谭山，黄敏欣，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：