System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术属于医学高光谱图像处理,具体涉及一种基于医学高光谱图像分割网络的图像分割方法。
技术介绍
1、医学图像分割涉及多种成像模式,包括x光片和ct扫描等灰度技术,以及用于内窥镜和病理显微镜的rgb成像。这些传统技术尽管在医学应用中已取得了重要成果,但在捕捉生物组织的完整光谱信息方面仍存在局限。为了解决这一问题,研究人员越来越多地采用高光谱成像(hsi)。医学高光谱成像(mhsi)突破了rgb系统的三色限制,能够捕捉从可见光到近红外的连续光谱,生成包含高分辨率光谱特征的三维数据立方体。mhsi通过不同光谱带上单个像素的强度变化,能够区分正常与异常组织,显示出增强组织表征的潜力。mhsi具有显著优势。它实现了非侵入性、无需标记的组织检查,减少了对造影剂和侵入性活检的需求。丰富的光谱信息能够检测并表征常规成像无法识别的微小组织异常。此外,mhsi的多维数据适合复杂计算分析,可提取复杂的模式和生物标志物,提升诊断和预后的准确性。实验结果显示,mhsi在病理图像分割方面优于传统rgb成像,因此具有广泛应用前景。
2、近年来,一种新的双流架构设计在该领域得到了发展,旨在独立处理空间和光谱维度。该设计通过不同的结构组件来提取和学习相应的表示,从而更有效地捕捉空间和光谱信息,同时降低整体网络复杂性。然而,这些方法通常依赖于简单的卷积层和线性层进行光谱特征提取,可能无法充分利用高光谱图像中的复杂光谱关系。这种简化方法可能忽略或削弱了重要的光谱信息,从而影响模型的整体效能和性能。一项最新的研究提出了一种利用高效矩阵分解方法的新模块,
3、同时,当前,u型网络架构已成为主要的研究范式,展示了出色的性能和多样性。这些架构的高效性源于其独特的编码器-解码器结构和跳跃连接机制,能够整合多尺度特征信息,使u型网络在捕捉全局语义上下文的同时保留局部细节。这对于准确划分医学图像中的复杂解剖结构和病理特征至关重要。然而,尽管取得了广泛成功,u型架构仍面临一些内在限制,值得进一步探索。这些限制主要体现在其对异质数据的适应性、特征表示与整合的有效性,以及几何信息的利用上。传统u-net模型在处理医学图像中固有的高变异性,尤其是在多模态输入或多样化病理状态下,常常表现出适应不足的问题。尽管跳跃连接机制在信息传播中有效,但其设计相对简单,未能充分利用不同尺度间特征的复杂关系,这可能导致次优的特征融合和选择性传播,从而影响模型感知复杂医学图像中细微结构的能力。此外,现有方法中几何信息的利用不足也带来了显著挑战。缺乏有效的机制来整合几何先验知识,可能导致在边界定位和形状保持方面的性能不佳,特别是在处理具有高变异性或不规则形态的病理结构时。这一限制影响了分割精度,并增加了在边界模糊或背景复杂的图像中出现假阳性或假阴性结果的可能性。
4、因此,当前大多数现有技术方法存在:1、光谱信息利用不足:高光谱图像包含数十上百个光谱波段,信息量巨大,如何高效提取和利用这些光谱信息是一个重大挑战,传统方法依赖于简单的卷积层和线性层进行光谱特征提取,可能无法充分利用高光谱图像中的复杂光谱关系。2、光谱和空间信息融合效率低:空间和光谱特征的整合方法仍然相对简单,通常仅依赖于将两种模态简单拼接。这种过于简化的方法忽视了空间结构与光谱响应之间的内在关联,以及在不同尺度和层级上的依赖关系。3、几何信息的利用不足。缺乏有效的机制来整合几何先验知识,特别是在处理具有高变异性或不规则形态的病理结构时,可能导致在边界定位和形状保持方面的性能不佳。由此,导致在复杂医学高光谱图像中细微结构的感知能力难以提高使得医学图像分割精度仍面临挑战。
技术实现思路
1、基于此,本申请提出一种基于医学高光谱图像分割网络的图像分割方法,旨在能够通过提高感知复杂医学高光谱图像中细微结构的能力来获得更高的图像分割精度。
2、本申请的第一方面提供了一种基于医学高光谱图像分割网络的图像分割方法,所述方法包括:
3、获取医学高光谱图像样本集,所述医学高光谱图像样本集包括第一图像样本集、第二图像样本集和光谱切片;
4、构建医学高光谱图像分割网络,所述医学高光谱图像分割网络包括双编码器、跳跃学习组件、解码器、第一分割头、空间几何细化组件和第二分割头,所述双编码器包括光谱编码器和空间编码器,其中:
5、所述光谱编码器用于根据第一图像样本集得到光谱特征,
6、所述空间编码器用于根据所述第二图像样本集得到空间特征,
7、所述跳跃学习组件用于根据所述光谱特征和所述空间特征得到第一光谱空间特征,
8、所述解码器用于根据所述第一光谱空间特征得到第二光谱空间特征,
9、所述第一分割头用于根据所述第二光谱空间特征得到初始分割掩膜,
10、所述空间几何细化组件用于根据所述光谱切片、所述第二光谱空间特征和所述初始分割掩膜得到精细化特征,
11、所述第二分割头用于根据所述精细化特征得到精细化分割掩膜;
12、构建总损失函数,以优化所述医学高光谱图像分割网络,得到医学高光谱图像分割优化网络;
13、基于所述医学高光谱图像分割优化网络得到图像分割最终结果。
14、作为第一方面的一种可选实施方式,获取医学高光谱图像样本集,所述医学高光谱图像样本集包括第一图像样本集、第二图像样本集和光谱切片的步骤包括:
15、获取医学高光谱图像样本集,将x分为第一图像样本集、第二图像样本集和光谱切片,再分别输入三个分支;
16、其中,第一图像样本集用于输入光谱编码器,第二图像样本集用于输入空间编码器,光谱切片用于输入空间几何细化组件。
17、作为第一方面的一种可选实施方式,所述光谱编码器包括多层级光谱mamba增强层,每层光谱mamba增强层包括光谱mamba增强模块,所述光谱mamba增强模块包括序列化块和光谱mamba增强块,所述光谱mamba增强模块的处理过程包括:
18、将第一图像样本集的子集特征输入所述序列化块,转换为特征序列,将所述特征序列经过位置编码得到编码序列;
19、将所述编码序列输入光谱mamba增强块得到特征增强序列;
20、将所述特征增强序列进行特征重构得到三维立体张量。
21、作为第一方面的一种可选实施方式,将第一图像样本集的子集特征输入所述序列化块,转换为特征序列,将所述特征序列经过位置编码得到编码序列的步骤包括:
22、对子集特征调整形状并进行光谱维度本文档来自技高网...
【技术保护点】
1.一种基于医学高光谱图像分割网络的图像分割方法,其特征在于,所述方法包括:
2.根据权利要求1所述的图像分割方法,其特征在于,获取医学高光谱图像样本集,所述医学高光谱图像样本集包括第一图像样本集、第二图像样本集和光谱切片的步骤包括:
3.根据权利要求2所述的图像分割方法,其特征在于,所述光谱编码器包括多层级光谱Mamba增强层,每层光谱Mamba增强层包括光谱Mamba增强模块,所述光谱Mamba增强模块包括序列化块和光谱Mamba增强块,所述光谱Mamba增强模块的处理过程包括:
4.根据权利要求3所述的图像分割方法,其特征在于,将第一图像样本集的子集特征输入所述序列化块,转换为特征序列,将所述特征序列经过位置编码得到编码序列的步骤包括:
5.根据权利要求4所述的图像分割方法,其特征在于,所述光谱 Mamba增强块包括Mamba块和光谱通道注意力块,其中,所述Mamba块的处理过程表示为:
6.根据权利要求1所述的图像分割方法,其特征在于,所述跳跃学习组件包括双尺度通道注意力层、双尺度空间注意力层和残差连接层,根据所
7.根据权利要求6所述的图像分割方法,其特征在于,根据所述光谱切片、所述第二光谱空间特征和所述初始分割掩膜得到精细化特征的步骤包括:
8.根据权利要求1所述的图像分割方法,其特征在于,所述总损失函数为,其中,和是平衡初始分割和最终精细分割损失贡献的权重系数,和分别表示初始分割和最终精细分割的损失项;
9.一种计算机设备,其特征在于,所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的处理程序,所述处理程序被所述处理器执行时实现如权利要求1至8中任一项所述的图像分割方法。
10.一种存储介质,其特征在于,所述存储介质上存储有处理程序,所述处理程序被处理器运行时实现如权利要求1至8任一项所述的图像分割方法。
...【技术特征摘要】
1.一种基于医学高光谱图像分割网络的图像分割方法,其特征在于,所述方法包括:
2.根据权利要求1所述的图像分割方法,其特征在于,获取医学高光谱图像样本集,所述医学高光谱图像样本集包括第一图像样本集、第二图像样本集和光谱切片的步骤包括:
3.根据权利要求2所述的图像分割方法,其特征在于,所述光谱编码器包括多层级光谱mamba增强层,每层光谱mamba增强层包括光谱mamba增强模块,所述光谱mamba增强模块包括序列化块和光谱mamba增强块,所述光谱mamba增强模块的处理过程包括:
4.根据权利要求3所述的图像分割方法,其特征在于,将第一图像样本集的子集特征输入所述序列化块,转换为特征序列,将所述特征序列经过位置编码得到编码序列的步骤包括:
5.根据权利要求4所述的图像分割方法,其特征在于,所述光谱 mamba增强块包括mamba块和光谱通道注意力块,其中,所述mamba块的处理过程表示为:
6...
【专利技术属性】
技术研发人员:徐武建,万欢,邹逸文,温明浩,魏欣,
申请(专利权)人:江西师范大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。