【技术实现步骤摘要】
本专利技术涉及3d医学图像分类及深度学习，具体涉及一种基于改进的多模态医学图像分类方法。
技术介绍
1、随着医疗信息技术与人工智能的快速发展，医学图像在疾病诊断、治疗规划以及预后评估中的作用日益凸显。从x射线、ct、mri到超声影像，各类医学图像为医疗领域提供了丰富的诊断信息。医学图像分类作为医学影像分析的核心任务，通过自动化技术对图像进行分类与解读，不仅提升了诊断效率，还为精准医疗提供了重要支持。然而，尽管该领域近年来取得了一定进展，技术瓶颈与实际应用中的挑战依然存在。
2、医学图像分类需要研究人员同时具备医学图像分析和数字图像的知识背景。由于图像尺度、数据格式和数据类别分布的影响，现有的模型方法，如传统的机器学习的识别方法和基于深度卷积神经网络的方法，取得的识别准确度和泛化性是有限的。实际场景中，由于医学图像数据的标记成本问题和病例医学图像采集问题，能够获得的有标签医学图像数据是有限的。
3、高质量标注的医学图像数据集数量有限，尤其是在特定疾病或罕见病症的研究中，限制了模型的训练和泛化能力。这种数据匮乏使得很多模型在实际应用中难以达到预期效果，尤其是在处理不同患者或不同设备所获取的图像时，模型的适应性显得尤为不足。
4、此外，目前主流医学图像分类方法大多仅依赖单一模态的医学数据，虽然在特定任务中取得了一定的成功，但这种方法存在显著的局限性，难以满足复杂临床场景的需求。单模态医学图像虽然在特定条件下能够提供有价值的信息，但它们往往无法全面反映病变的复杂性和多样性。例如，ct图像在骨骼结构的清
5、不同模态的图像能够提供互补的信息，从而为医生提供更全面的诊断依据。然而，如何充分利用多模态医学图像数据也是一个很大的挑战。多模态数据的丰富性未能得到有效利用，这种局限不仅降低了模型对复杂病变的识别能力，还可能导致重要信息的遗漏，进而影响临床决策的准确性。
技术实现思路
1、本专利技术为克服现有图像分类技术在医学图像分类上存在的问题，提供一种基于改进的多模态医学图像分类方法，以期能够更全面地理解多模态医学图像中的信息，并能提高图像分类的准确性和效率。
2、本专利技术为解决上述问题采用如下技术方案：
3、本专利技术一种基于改进的多模态医学图像分类方法的特点在于，包括如下步骤：
4、步骤1、获图像大小为且模态数为的某一用户的多模态图像集并进行图像配准及偏置场矫正处理，从而得到预处理后的某一用户的多模态医学图像集=，其中，表示第个模态的一张医学图像，；表示单模态医学图像的宽度，表示单模态医学图像的高度，表示单模态医学图像的深度；令的真实类别标签记为且1,2,…,}，表示类别总数；
5、步骤2、构建医学图像分类网络，包括：初步提取特征模块、特征精炼模块和分类模块；
6、步骤2.1、所述初步特征提取模块包含一个卷积层和激活函数；
7、将个不同模态的医学图像级联后，得到尺寸为的级联医学图像并输入初步特征提取模块中进行处理，得到浅层特征图，其中，为单模态医学图像的通道数；
8、步骤2.2、所述特征精炼模块对进行处理，得到第n个密集块输出的密集特征；
9、步骤2.3、所述分类模块包含全连接层和函数，并依次对进行处理后，输出的预测类别标签；
10、步骤3、训练医学图像分类网络；
11、步骤3.1、利用式(1)构建交叉熵损失函数：
12、 (1)
13、式(1)中，表示中在第个类别上的预测概率；表示中在第个类别上的真实概率；
14、步骤3.2、采用反向传播算法对医学图像分类网络进行训练，并计算所述交叉熵损失函数以更新网络参数，直至交叉熵损失函数收敛为止，从而得到最优医学图像分类网模型，用于对任一输入的多模态医学图像进行分类预测。
15、本专利技术所述的一种基于改进的多模态医学图像分类方法的特点也在于，所述步骤2.2中的特征精炼模块包括：个密集块和个带有增强模块的过渡层；其中，第n个密集块包含个密集层；任意第个密集层包括：两个标准化层、两个激活函数、两个卷积层；
16、任意第个带有增强模块的过渡层包含卷积降维层与增强层，其中，卷积降维层包含一个标准化层，激活函数、一个卷积层和一个池化层；mamba增强层包含线性映射层、卷积层、选择性状态空间模型层和激活函数；
17、步骤2.2.1、初始化n=1；将作为第n-1个密集块的输出特征；
18、步骤2.2.2、初始化=1；
19、步骤2.2.3、将输入到第n个密集块中，并经过第个密集层的处理后，得到第n个密集块的第个密集层输出的层次特征；
20、步骤2.2.4、将与叠加后赋值给，将+1赋值给后，返回步骤2.2.3顺序执行，直到为止，从而得到第n个密集块输出的密集特征={，，…，，…，，}；
21、步骤2.2.5、初始化=n；将作为第-1个带有增强模块的过渡层输出的融合特征；
22、步骤2.2.6、将输入第个带有增强模块的过渡层中，并分别经过卷积降维层和增强层的处理，相应得到第个提炼特征和第个映射特征，从而将第个提炼特征和第个映射特征加权融合后，得到第个融合特征；
23、步骤2.2.7、将作为，将n+1赋值给n后，返回步骤2.2.2顺序执行，直至n>n为止，从而得到第n个密集块输出的密集特征。
24、本专利技术一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储支持处理器执行所述多模态医学图像分类方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
25、本专利技术一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行所述多模态医学图像分类方法的步骤。
26、与现有的分类方法相比，本专利技术的有益效果体现在：
27、1、本专利技术采用3d的多模态医学图像数据：该方法使用的3d图像可以提供比传统2d图像更为丰富的空间信息，使得模型能够精确捕捉脑部结构的复杂细节及早期病变。结合磁共振成像（mri）和正电子发射断层扫描（pet）数据两种模态的数据不仅可以捕捉结构信息，还能获取功能与代谢信息。对多模态图像的充分利用显著提升了对疾病特性的洞察，从而提高了图像分类的精度和模型的鲁棒性。
28、2、本专利技术引入dropout机制：在该方法中，引入了dropout机制，特别是在密集层中生成新特征后，dropout会以一定概率随机丢弃部分特征通道。其主要益处在于防止过拟合，通过随机忽略部分神经元，网络无法依赖特定路径或特征，从而增强了模型的泛化能力。此外，能够显著提升模型在验证和测试本文档来自技高网...
【技术保护点】
1.一种基于改进的多模态医学图像分类方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于改进的多模态医学图像分类方法，其特征在于，所述步骤2.2中的特征精炼模块包括：个密集块和个带有增强模块的过渡层；其中，第n个密集块包含个密集层；任意第个密集层包括：两个标准化层、两个激活函数、两个卷积层；
3.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1或2所述多模态医学图像分类方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
4.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1或2所述多模态医学图像分类方法的步骤。
【技术特征摘要】
1.一种基于改进的多模态医学图像分类方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于改进的多模态医学图像分类方法，其特征在于，所述步骤2.2中的特征精炼模块包括：个密集块和个带有增强模块的过渡层；其中，第n个密集块包含个密集层；任意第个密集层包括：两个标准化层、两个激活函数、两个卷积层；
3.一种电子...
【专利技术属性】
技术研发人员：刘羽，胡馨悦，刘淑萍，石雨，成娟，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。