基于多视角多模态的乳腺能谱图像分类系统、设备及介质技术方案

本发明专利技术公开了基于多视角多模态的乳腺能谱图像分类系统、设备及介质，包括：获取模块，其被配置为：获取多视角多模态的若干个乳腺能谱图像；预处理模块，其被配置为：对获取的每个乳腺能谱图像进行预处理；特征提取模块，其被配置为：对预处理后的每个乳腺能谱图像进行特征提取；特征分类模块，其被配置为：将提取的特征输入到分类器中，输出图像分类结果。输出图像分类结果。输出图像分类结果。

【技术实现步骤摘要】
基于多视角多模态的乳腺能谱图像分类系统、设备及介质


[0001]本申请涉及医疗影像处理
，特别是涉及基于多视角多模态的乳腺能谱图像分类系统、设备及介质。

技术介绍

[0002]本部分的陈述仅仅是提到了与本申请相关的
技术介绍
，并不必然构成现有技术。
[0003]乳腺癌是女性常见的癌症，是导致女性死亡率增高的原因之一。对患者进行早期的检查可以显著降低乳腺癌患者的死亡率。目前，乳腺癌检查的措施主要有乳腺钼靶检查、乳腺超声检查、乳腺MRI和乳腺能谱摄影等。其中，乳腺能谱摄影是比较新颖的筛查乳腺癌的方法。这种方法能同时得到多幅乳腺的图像，具有较高的敏感性和特异性，是一种具有良好应用前景的技术。
[0004]通过面向医学图像的人工智能技术可以帮助影像科医师在早期发现乳腺病变。如今利用人工智能技术构建的乳腺癌辅助诊断系统已经取得不错的成效，其结果也获得了临床医生的认可。然而现有深度学习的方法仅将自然图像的算法迁移到乳腺能谱图像中，没有考虑乳腺能谱图像多个视角的特点，对于乳腺能谱影像中的多种模态也缺乏有效利用。所以这些方法对乳腺能谱图像分类的准确率不高。为了克服通用深度学习分类算法的缺点，需要对乳腺能谱图像分类模型进行改进。
[0005]综上所述，乳腺能谱图像精准分类的问题，尚缺乏行之有效的解决方案。

技术实现思路

[0006]为了解决现有技术的不足，本申请提供了基于多视角多模态的乳腺能谱图像分类系统、设备及介质；解决乳腺能谱图像精准分类的问题。
[0007]第一方面，本申请提供了基于多视角多模态的乳腺能谱图像分类系统；
[0008]于多视角多模态的乳腺能谱图像分类系统，包括：
[0009]获取模块，其被配置为：获取多视角多模态的若干个乳腺能谱图像；
[0010]预处理模块，其被配置为：对获取的每个乳腺能谱图像进行预处理；
[0011]特征提取模块，其被配置为：对预处理后的每个乳腺能谱图像进行特征提取；
[0012]特征分类模块，其被配置为：将提取的特征输入到分类器中，输出图像分类结果。
[0013]第二方面，本申请还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述第一方面所述的系统的功能。
[0014]第三方面，本申请还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述系统的功能。
[0015]与现有技术相比，本申请的有益效果是：
[0016]本专利技术首先对采集到的乳腺能谱图像进行裁剪、图像增强、归一化以及尺度调整
处理，然后对深度学习分类模型进行改进，输入两个视角和两种模态的乳腺能谱图像，检测乳腺能谱图像的两个视角和两种模态，并在相应的图像提取外观特征再进行分类。通过这种方式，可以获得不同视角和不同模态下的乳腺图像特征，从而为精确的分类提供更多有用的信息，提高乳腺能谱图像分类的精度。
附图说明
[0017]构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
[0018]图1是本专利技术的基于多视角多模态的乳腺能谱图像分类方法流程图；
[0019]图2(a)-图2(d)是本专利技术训练多视角多模态分类模型时设定的两个视角及两种模态乳腺能谱图像。
具体实施方式
[0020]应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。
[0021]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0022]在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。
[0023]实施例一
[0024]本实施例提供了基于多视角多模态的乳腺能谱图像分类系统；
[0025]如图1所示，基于多视角多模态的乳腺能谱图像分类系统，包括：
[0026]获取模块，其被配置为：获取多视角多模态的若干个乳腺能谱图像；
[0027]预处理模块，其被配置为：对获取的每个乳腺能谱图像进行预处理；
[0028]特征提取模块，其被配置为：对预处理后的每个乳腺能谱图像进行特征提取；
[0029]特征分类模块，其被配置为：将提取的特征输入到分类器中，输出图像分类结果。
[0030]进一步地，所述获取模块，其被配置为：获取多视角多模态的若干个乳腺能谱图像；多视角多模态，是指：两种视角两种模态的乳腺能谱图像。
[0031]进一步地，所述乳腺能谱图像包括能谱低能图像和能谱对比增强图像。
[0032]能谱低能图像指的是病人在注射碘对比剂后，在峰值千伏电压为26-31kVp时，X射线穿过乳腺获得的图像。
[0033]能谱高能图像是在峰值千伏电压为45-49kVp时，X射线穿过乳腺获得的图像。
[0034]能谱对比增强图像是：对高能图像与低能图像，使用加权对数减法得到的图像。
[0035]所述两种视角两种模态的乳腺能谱图像，包括：同侧乳腺的CC位能谱低能图像、同侧乳腺的MLO位的能谱低能图像、同侧乳腺的CC位能谱对比增强图像和MLO位的能谱对比增
强图像。采用在同一侧乳腺不同拍摄视角的图像或采用同侧乳腺不同模态的图像，能够提高图像的分类精度。
[0036]这4张图像必须同为左侧乳房的影像或者同为右侧乳房的影像。具体地，如图2(a)-图2(d)所示，为乳腺能谱图像的实例图，图2(a)、图2(b)为能谱低能图像，图2(c)、图2(d)为能谱对比增强图像。乳腺能谱图像可以预先存储在计算机设备的存储器中，当需要对其进行处理时，处理器直接从计算机设备的存储器中读取乳腺能谱图像。当然，处理器也可以从外部设备中获取乳腺能谱图像。比如，将待检测对象的乳腺能谱图像存储在云端，当需要进行处理操作时，处理器从云端获取待检测对象的乳腺能谱图像。本实施例对处理器获取乳腺能谱图像的具体方式不做限定。
[0037]进一步地，所述预处理模块，包括：
[0038]图像裁剪子模块，其被配置为：对获取的每个乳腺能谱图像进行裁剪，得到裁剪后的乳腺能谱图像；
[0039]图像增强子模块，其被配置为：对裁剪后的乳腺能谱图像进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多视角多模态的乳腺能谱图像分类系统，其特征是，包括：获取模块，其被配置为：获取多视角多模态的若干个乳腺能谱图像；预处理模块，其被配置为：对获取的每个乳腺能谱图像进行预处理；特征提取模块，其被配置为：对预处理后的每个乳腺能谱图像进行特征提取；特征分类模块，其被配置为：将提取的特征输入到分类器中，输出图像分类结果。2.如权利要求1所述的系统，其特征是，所述获取模块，其被配置为：获取多视角多模态的若干个乳腺能谱图像；多视角多模态，是指：两种视角两种模态的乳腺能谱图像。3.如权利要求2所述的系统，其特征是，所述两种视角两种模态的乳腺能谱图像，包括：同侧乳腺的CC位能谱低能图像、同侧乳腺的MLO位的能谱低能图像、同侧乳腺的CC位能谱对比增强图像和MLO位的能谱对比增强图像；采用在同一侧乳腺不同拍摄视角的图像或采用同侧乳腺不同模态的图像，能够提高图像的分类精度。4.如权利要求1所述的系统，其特征是，所述预处理模块，包括：图像裁剪子模块，其被配置为：对获取的每个乳腺能谱图像进行裁剪，得到裁剪后的乳腺能谱图像；图像增强子模块，其被配置为：对裁剪后的乳腺能谱图像进行图像增强处理；图像归一化子模块，其被配置为：对图像增强后的图像进行图像归一化处理；尺度调整子模块，其被配置为：对图像归一化处理后的图像进行尺度调整处理。5.如权利要求4所述的系统，其特征是，所述图像裁剪子模块，其被配置为：对获取的每个乳腺能谱图像进行裁剪，得到裁剪后的乳腺能谱图像；具体是指：将每个乳腺能谱图像转换成灰度图像；对每一幅灰度图像，判断每一列的像素值是否是全部黑色背景，如果某一列为全部黑色背景，则将该列裁剪掉；或者，所述图像增强子模块，其被配置为：对裁剪后的乳腺能谱图像进行图像增强处理；图像增强处理所采用的方式为：对裁剪后的乳腺能谱图像进行旋转、翻转、平移、增加噪声或增加对比度；或者，所述图像归一化子模块，其被配置为：对图像增强后的图像进行图像归一化处理；是指对增强后的图像进行全局对比度归一化处理；或者，所述尺度调整子模块，其被配置为...

【专利技术属性】
技术研发人员：郑元杰，宋景琦，王军霞，徐晨曦，姜岩芸，贾伟宽，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：