一种多视图多模态图像分割方法及系统技术方案

本发明专利技术属于图像处理技术领域，提供了一种多视图多模态图像分割方法及系统。其中，该方法包括获取一组多模态多视图图像；对每张多模态多视图图像进行编码，生成第一特征图；对第一特征图进行解码，生成第二特征图；选取一组多模态多视图图像中任一视图和模态信息作为先验信息，并编码为one

【技术实现步骤摘要】
一种多视图多模态图像分割方法及系统


[0001]本专利技术属于图像处理
，尤其涉及一种多视图多模态图像分割方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]医学图像分割是医学图像处理的一个重要研究分支，是目前医学图像处理中的热点，具有重要的临床诊断和治疗价值。医学图像分割就是根据医学图像的某种相似性特征(如亮度、颜色纹理等)将医学图像划分为若干个互不相交的“连通”的区域的过程，相关特征在同一区域表现出一致性或相似性，而在不同区域表现出明显的不同，也就是说在区域边界上像素存在某种不连续特性。是医学图像处理与分析领域的复杂而关键的步骤，其目的是将医学图像中具有某些特殊含义的部分分割出来，并提取相关特征，为临床诊疗和病理学研究提供可靠的依据，辅助医生做出更为准确的诊断。
[0004]目前，针对多视图及多模态的图像分割已经提出了很多方法，基于阈值、基于形变模型、基于神经网络的分割模型等。其中，多视图及多模态的图像包括乳腺图像，其两种视图分别是头尾位(CC)和内外斜侧位(MLO)。每种视图下又有两种不同的模态，即低能(LE)和高能(HE)两种能量影像。据专利技术人的了解，其中基于神经网络的图像分割模型，大多并没有考虑到图像具有多视图多模态的特征。如基于FCN网络、UNet网络等网络模型训练出一个固定的神经网络进行图像分割方法，由于图像具有多视图的特点，此类方法应用于具有多视图特征的图像分割时往往存在一定的局限性。一方面，这类方法将所有图片看作一类图像，没有考虑到图片具有多视图多模态的特征；另一方面，不同视图不同模态的图像具有不同的特征，针对不同视图、模态的图像采用固定的卷积核卷积得出的结果应该存在较大的误差。

技术实现思路

[0005]为了解决上述
技术介绍
中存在的技术问题，本专利技术提供一种多视图多模态图像分割方法及系统，其能够利用图像的多视图多模态特征，增加分割的准确性。
[0006]为了实现上述目的，本专利技术采用如下技术方案：
[0007]本专利技术的第一个方面提供一种多视图多模态图像分割方法，其包括：
[0008]获取一组多模态多视图图像；
[0009]对每张多模态多视图图像进行编码，生成第一特征图；
[0010]对第一特征图进行解码，生成第二特征图；
[0011]选取一组多模态多视图图像中任一视图和模态信息作为先验信息，并编码为one
‑
hot向量；
[0012]将第一特征图进行全局池化操作得到聚合特征，并将其与one
‑
hot向量拼接；
[0013]基于拼接向量及卷积核生成器，产生分割对应视图和模态的卷积核；
[0014]利用所述卷积核对第二特征图进行卷积操作，得到对应视图及模态图像的分割结果。
[0015]本专利技术的第二个方面提供一种多视图多模态图像分割系统，其包括：
[0016]图像获取模块，其用于获取一组多模态多视图图像；
[0017]第一特征图生成模块，其用于对每张多模态多视图图像进行编码，生成第一特征图；
[0018]第二特征图生成模块，其用于对第一特征图进行解码，生成第二特征图；
[0019]先验信息编码模块，其用于选取一组多模态多视图图像中任一视图和模态信息作为先验信息，并编码为one
‑
hot向量；
[0020]向量拼接模块，其用于将第一特征图进行全局池化操作得到聚合特征，并将其与one
‑
hot向量拼接；
[0021]卷积核产生模块，其用于基于拼接向量及卷积核生成器，产生分割对应视图和模态的卷积核；
[0022]图像分割模块，其用于利用所述卷积核对第二特征图进行卷积操作，得到对应视图及模态图像的分割结果。
[0023]本专利技术的第三个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的多视图多模态图像分割方法中的步骤。
[0024]本专利技术的第四个方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的多视图多模态图像分割方法中的步骤。
[0025]与现有技术相比，本专利技术的有益效果是：
[0026](1)在图像分割效果上，本专利技术首次提出了一种利用单一网络分割多视图多模态乳腺图像的技术，其根据不同视图、模态作为先验信息生成不同的卷积核，用于最终的卷积操作的参数，充分考虑到了乳腺图像所具有的多模态和多视图特征，提高了图像分割的准确性。
[0027](2)在实用性和扩展性上，本专利技术该多视图多模态乳腺图像分割方法，提高了不同视图、不同模态图像分割的准确性，能够更准确的帮助医生根据图像检测对应疾病的概率，因此具有很强的实用性，同时该方法还可以用于其他的多模态、多视图的医学图像中，因此也具有很好的扩展性。
[0028](3)在运算效率和速度上，本专利技术基于编解码特征提取的方法，实现了只使用单一的网络来分割不同模态和不同视图的乳腺图像，减少了网络的参数，因此，运算的速度更快，效率更高。
[0029]本专利技术附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0030]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0031]图1是本专利技术实施例的多视图多模态图像分割方法流程图；
[0032]图2是本专利技术实施例的多视图多模态图像分割方法原理图；
[0033]图3(a)是本专利技术实施例的第一种类型乳腺图像；
[0034]图3(b)是本专利技术实施例的第二种类型乳腺图像；
[0035]图3(c)是本专利技术实施例的第三种类型多模态乳腺图像；
[0036]图3(d)是本专利技术实施例的第四种类型乳腺图像；
[0037]图4(a)是本专利技术实施例的第一种类型乳腺图像的肿瘤分割结果；
[0038]图4(b)是本专利技术实施例的第二种类型乳腺图像的肿瘤分割结果；
[0039]图4(c)是本专利技术实施例的第三种类型乳腺图像的肿瘤分割结果；
[0040]图4(d)是本专利技术实施例的第四种类型乳腺图像的肿瘤分割结果；
[0041]图5是本专利技术实施例的多视图多模态图像分割系统结构示意图。
具体实施方式
[0042]下面结合附图与实施例对本专利技术作进一步说明。
[0043]应该指出，以下详细说明都是例示性的，旨在对本专利技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本专利技术所属
的普通技术人员通常理解的相同含义。
[0044]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本专利技术的示例性实施方式。如在这里所使用的，除非上下文本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多视图多模态图像分割方法，其特征在于，包括：获取一组多模态多视图图像；对每张多模态多视图图像进行编码，生成第一特征图；对第一特征图进行解码，生成第二特征图；选取一组多模态多视图图像中任一视图和模态信息作为先验信息，并编码为one
‑
hot向量；将第一特征图进行全局池化操作得到聚合特征，并将其与one
‑
hot向量拼接；基于拼接向量及卷积核生成器，产生分割对应视图和模态的卷积核；利用所述卷积核对第二特征图进行卷积操作，得到对应视图及模态图像的分割结果。2.如权利要求1所述的多视图多模态图像分割方法，其特征在于，利用编码器对每张多模态多视图图像进行编码，生成第一特征图。3.如权利要求2所述的多视图多模态图像分割方法，其特征在于，在所述编码器中，对多模态多视图图像依次进行卷积和池化下采样操作，得到特征提取的第一特征图。4.如权利要求1所述的多视图多模态图像分割方法，其特征在于，利用解码器对第一特征图进行解码，生成第二特征图。5.如权利要求4所述的多视图多模态图像分割方法，其特征在于，在所述解码器中，将第一特征图不断经过上采样操作且与编码器的低级特征图相加，再通过残差网络进行细化得到具有一组图片所有语义信息的第二特征图。6.一种多视图多模态图像分割系统，其特征在于，包括：图像获取模块，其用于获取一组多模态多视图图像；第一特征图生成模块，其用于对每张多模态多...

【专利技术属性】
技术研发人员：牛屹，杜发文，郑元杰，隋晓丹，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：