【技术实现步骤摘要】
本专利技术涉及图像光谱重建领域，尤其涉及一种基于深度学习的医学高光谱图像光谱重建方法及设备。
技术介绍
1、医学高光谱图像(medical hyperspectral images,mhsi)是通过高光谱成像技术，在医学研究和临床应用中获取的一系列在连续且细分的光谱波段内精确配准的图像，这些图像覆盖了相邻且狭窄的波长范围，共同构成了一个包含丰富光谱和空间信息的多维数据集。
2、尽管mhsi在医学成像领域具有显著的优势，但其获取过程却相对复杂且成本较高。与标准的rgb图像相比，mhsi需要专门的定制设备，并且由于需要采集多个光谱带的数据，成像时间也相对较长。这在一定程度上限制了mhsi在临床实践中的广泛应用。相反，rgb图像作为最常见的彩色图像格式，可以通过任何标准的数字彩色相机轻松捕获，技术成熟且成本低廉。鉴于rgb图像与mhsi在颜色描述、应用场景以及潜在的转换关系上存在的紧密联系，研究从医学rgb图像中重建出高质量的医学高光谱图像方法，能够在不牺牲光谱信息丰富性的前提下，大幅降低获取mhsi的门槛，推动其在医学领域的更广泛应用。
3、在医学图像重建领域，已经开发出了多种空间超分辨率重建方法。这些方法旨在解决x射线成像、计算机断层扫描(ct)、磁共振成像(mri)和超声成像等成像技术生成的医学图像数据集中存在的低信噪比(snr)和低对比度噪比(cnr)问题。然而，这些方法并未解决医学高光谱图像采集成本高昂的问题。因此，当前的医学成像领域缺乏针对复杂且更大数据集的光谱重建方法，以克服在获取医学高光谱图像时
4、光谱重建目前主要应用于自然图像领域。由于从三个光谱波段映射到更多光谱波段的过程中可能存在大量解空间，这是一个不可避免的病态转换过程。为了解决这一问题，基于先验知识和数据驱动的方法已被提出。在光谱重建技术发展的早期阶段，方法主要依赖于先验知识，利用稀疏性、低秩性和场景信息等先验信息对浅层特征表示进行粗略建模。然而，由于建模设计简单且过度依赖先验知识，这种方法很容易对模型的准确性和生成效果产生负面影响。为了进一步提高重建高光谱图像(hsi)的准确性和特征表示能力，研究人员逐渐开发了基于深度学习的数据驱动方法。这些方法主要包括卷积神经网络(cnn)、生成对抗网络(gan)和transformer，其中基于transformer的方法在重建过程中表现出了优异的性能。
5、与自然图像相比，生物医学细胞图像展现出独特的前景与背景区分特性。在生物医学细胞图像中，前景区域主要由细胞构成，这些细胞在灰度值、形态结构及纹理特征上与背景区域存在显著差异。然而，直接使用自然图像领域的方法面临诸多挑战。一方面，由于光谱混淆，细胞的边缘轮廓在重建过程中容易被错误地归类为背景，从而导致细胞轮廓信息的不清晰；同时，这些方法往往还难以在重建中同时兼顾前景区域(细胞)和背景区域的保真度，使得重建结果可能出现细胞细节模糊或背景信息失真的情况。另一方面，细胞结构的精细性和纹理特征的复杂性也使得这些关键信息在重建过程中极易丢失或受到破坏，进而影响后续的分析和诊断准确性。
技术实现思路
1、有鉴于此,本专利技术的目的在于提供一种基于深度学习的医学高光谱图像光谱重建方法及设备，用于解决现有的图像重建结果可能出现细胞细节模糊或背景信息失真的情况，以及细胞结构的精细性和纹理特征的复杂性也使得这些关键信息在重建过程中极易丢失或受到破坏，进而影响后续的分析和诊断准确性的技术问题。
2、本专利技术提供了一种基于深度学习的医学高光谱图像光谱重建方法，包括步骤：
3、s1：构建基于cnn-transformer的医学高光谱图像光谱重建网络；
4、s2：获取医学rgb-高光谱图像对集合，将医学rgb-高光谱图像对集合划分为训练图像集合和测试图像集合；
5、s3：通过训练图像集合对医学高光谱图像光谱重建网络进行训练，获得训练好的医学高光谱图像光谱重建网络；
6、s4：从测试图像集合中获取待重建的医学rgb图像，将待重建的医学rgb图像输入训练好的医学高光谱图像光谱重建网络，获得重建后的医学高光谱图像。
7、优选的：
8、医学高光谱图像光谱重建网络包括依次连接的浅层特征提取模块、局部空间多尺度自适应特征融合模块、基于位置编码的transformer模块和通道整合模块；
9、浅层特征提取模块与基于位置编码的transformer模块连接。
10、优选的，医学高光谱图像光谱重建网络的工作流程具体为：
11、将三通道的医学rgb图像x输入浅层特征提取模块获得特征图ysfe；
12、将特征图ysfe输入局部空间多尺度自适应特征融合模块获得特征图y'lmfe，将特征图y'lmfe和特征图ysfe相加，获得特征图ylmfe；
13、将特征图ylmfe输入基于位置编码的transformer模块获得特征图ypet；
14、将特征图ypet输入通道整合模块获得重建后的医学高光谱图像y。
15、优选的：
16、局部空间多尺度自适应特征融合模块包括：第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块、第五卷积模块、第一3×3conv模块和第二3×3conv模块；
17、浅层特征提取模块与第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块和第五卷积模块连接；
18、第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块和第五卷积模块与第一3×3conv模块和第二3×3conv模块连接。
19、优选的，局部空间多尺度自适应特征融合模块的工作流程具体为：
20、获取输入局部空间多尺度自适应特征融合模块的特征图ysfe；
21、将特征图ysfe依次经过2倍上采样、第一卷积模块和下采样后获得特征图x1；
22、将特征图ysfe经过第二卷积模块后获得特征图x2；
23、将特征图ysfe依次经过2倍下采样、第三卷积模块和上采样后获得特征图x3；
24、将特征图ysfe依次经过4倍下采样、第四卷积模块和上采样后获得特征图x4；
25、将特征图ysfe依次经过8倍下采样、第五卷积模块和上采样后获得特征图x5；
26、将特征图x1、特征图x2、特征图x3、特征图x4和特征图x5进行通道维度的拼接后输入第一3×3conv模块，经过sigmoid函数处理后获得权重矩阵w，权重矩阵w的表达式为：
27、w＝sigmoid(conv(concat(x1,x2,x3,x4,x5)))
28、其中，concat()表示通道维度的拼接操作，conv()表示3×3conv模块的卷积操作，sigmoid()表示sigmoid运算；
29、将特征图x1、特征图x2、特征图x3、特征图x4和特征图x5分别与权重矩阵w相乘，获得特征图x'1、特本文档来自技高网...
【技术保护点】
1.一种基于深度学习的医学高光谱图像光谱重建方法，其特征在于，包括步骤：
2.根据权利要求1所述的基于深度学习的医学高光谱图像光谱重建方法，其特征在于：
3.根据权利要求2所述的基于深度学习的医学高光谱图像光谱重建方法，其特征在于，医学高光谱图像光谱重建网络的工作流程具体为：
4.根据权利要求2所述的基于深度学习的医学高光谱图像光谱重建方法，其特征在于：
5.根据权利要求4所述的基于深度学习的医学高光谱图像光谱重建方法，其特征在于，局部空间多尺度自适应特征融合模块的工作流程具体为：
6.根据权利要求2所述的基于深度学习的医学高光谱图像光谱重建方法，其特征在于：
7.根据权利要求6所述的基于深度学习的医学高光谱图像光谱重建方法，其特征在于：
8.根据权利要求7所述的基于深度学习的医学高光谱图像光谱重建方法，其特征在于，第一PCSA模块的工作流程具体为：
9.根据权利要求1所述的基于深度学习的医学高光谱图像光谱重建方法，其特征在于，步骤S3具体为：
10.一种基于深度学习的医学
...【技术特征摘要】
1.一种基于深度学习的医学高光谱图像光谱重建方法，其特征在于，包括步骤：
2.根据权利要求1所述的基于深度学习的医学高光谱图像光谱重建方法，其特征在于：
3.根据权利要求2所述的基于深度学习的医学高光谱图像光谱重建方法，其特征在于，医学高光谱图像光谱重建网络的工作流程具体为：
4.根据权利要求2所述的基于深度学习的医学高光谱图像光谱重建方法，其特征在于：
5.根据权利要求4所述的基于深度学习的医学高光谱图像光谱重建方法，其特征在于，局部空间多尺度自适应特征融合模块的工作流程具体为：
6.根据权利要求2所述的基于深度学习的...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。