【技术实现步骤摘要】
本专利技术涉及医学显微高光谱图像分割领域，特别是涉及一种基于显微高光谱成像技术的图像分割方法。
技术介绍
1、高光谱成像技术(hyperspectral imaging,hsi)是由多光谱成像技术(multispectral imaging,msi)延伸发展而来的，一种融合光谱技术和成像技术以获得探测对象二维空间图像和一维光谱信息的成像技术。高光谱成像技术最初应用于遥感领域，主要用于农业、植被监测、地质勘查等。近年来，随着高光谱成像系统光学结构的不断发展，高光谱成像技术在医疗成像上的应用也取得了大量的研究成果，特别是在显微成像领域。在病理切片的诊断中，由于一些早期的病理变化体现在化学成分的变化，但在组织结构和细胞形态上变化不明显，因此病理医生难以用肉眼分辨其中的差异。显微高光谱成像技术(microscopic hyperspectral imaging)可以在显微层面同时获取到生物组织的丰富光谱信息和空间信息，使得肉眼不可见的化学组成之间差异变得清晰可见，为早期病理切片诊断提供了一种新的思路。
2、显微高光谱成像技术虽然能够为病理诊断研究带来新的有效的辅助诊断方法，但与此同时它也存在着数据量庞大，信息冗余等问题，因此需要一种高效处理高光谱数据的方法。传统的图像识别分类的方法主要是利用机器学习算法，通过研究人员人为设计相应的特征提取算法，从而实现对图像信息进行分析处理。而高光谱数据的数据量大、维度高等特点无疑导致了传统方法在特征提取上的困难。与之相对应的深度学习算法模型具有参数多、结构深的特点，使得其能够从高光谱数据中
3、深度学习，特别是一些基于卷积神经网络(cnn)的方法已经被成功应用于医学高光谱图像分割领域，并取得不错的效果。但现有的基于cnn的高光谱图像分割方法缺乏对全局信息建模的能力，以及对光谱信息的关注，无法有效利用高光谱图像丰富的光谱空间信息。
技术实现思路
1、本专利技术目的在于针对现有技术的不足，提出一种基于显微高光谱成像技术的图像分割方法。
2、本专利技术的目的是通过以下技术方案来实现的：为了解决在小样本情况下高光谱图像光谱空间信息利用不充分、卷积神经网络缺乏全局信息提取的能力、transformer模块中全局注意力带来的巨大计算量等问题，本专利技术目的在于提供一种能够有效提取高光谱图像的光谱空间特征，融合了卷积操作和基于窗口注意力机制的transformer模块，在实现对全局和局部信息的高效特征提取的同时，又减少了网络模型的参数量和计算量的图像分割方法。
3、为了实现本专利技术的上述目的，本专利技术提供了一种基于显微高光谱成像技术的图像分割方法，该方法包括以下步骤：
4、数据集处理：获取胃癌病理切片的高光谱图像和可见光图像，人工对可见光图像进行标注；将高光谱图像进行数据预处理和数据集划分，得到胃癌显微高光谱图像数据集；
5、构建显微病理高光谱图像分割网络模型：该模型包括特征提取主干网络和解码头网络；
6、所述特征提取主干网络包括四个阶段，每个阶段包括一个图像嵌入模块和若干个混合特征提取模块，其中混合特征提取模块包括光谱混合特征提取子模块和空间混合特征提取子模块，分别通过光谱注意力窗口和空间注意力窗口提取不同维度特征；
7、所述解码头网络用于对主干特征提取网络中各个阶段得到的不同分辨率的特征输出进行融合；
8、对网络模型进行训练得到训练好的显微病理高光谱图像分割网络模型；
9、将待测的胃癌病理切片的高光谱图像输入训练好的网络模型，得到胃癌病理切片显微高光谱图像的分割预测结果。
10、进一步地，所述人工对可见光图像进行标注具体为：对于可见光图像的癌变区域进行框选，设置为对应的正类标签；对于可见光图像中背景以及癌变区域内部的部分非癌变区域同样标注，并设置为负类标签。
11、进一步地，所述数据预处理包括光谱矫正和光谱降维，所述光谱矫正具体为：将采集得到的病理切片高光谱数据与对应的空白玻片数据进行逐位置相除，将原始数据中光强值转换为透光率；所述光谱降维具体为：在光谱波段中选取清晰的波段，并使用pca主成分分析方法进一步降低图像光谱波段数。
12、进一步地，所述特征提取主干网络中的图像嵌入模块具体为：
13、第i阶段的输入首先将输入经过图像嵌入层，从而得到高光谱图像在不同空间分辨率下的特征表示第一阶段的图像嵌入模块使用二维卷积设置卷积核大小为7×7、步长为4×4、填充大小为3×3、输入通道为ci-1以及输出通道为2ci-1，将图像重叠地分割成尺寸为4×4的图像块，共得到(hi/4)×(wi/4)×ci)个图像块；
14、其余阶段的嵌入层使用二维卷积设置卷积核大小为3×3、步长为2×2、填充大小为1×1、输入通道为ci-1以及输出通道为2ci-1，将图像重叠地分割成尺寸为2×2的图像块，共得到(hi/2)×(wi/2)×ci个图像块；
15、完成图像块嵌入后，添加使用层归一化，得到图像嵌入后的特征表示xi。
16、进一步地，所述特征提取主干网络中的光谱混合特征提取模块具体为：包含点卷积通路和光谱窗口注意力通路两个分支，将两分支的输出输入到第一add&norm层后输入到卷积前反馈层，将结果输入到第二add&norm层；空间混合特征提取模块具体为：包含深度卷积通路和空间窗口注意力通路两个分支，将两分支的输出输入到第一add&norm层后输入到卷积前反馈层，将结果输入到第二add&norm层。
17、进一步地，所述点卷积通路由三个点卷积层，一个归一化层和一个激活层组成，光谱窗口注意力sewa通路使用尺寸为1×1×mc的窗口，以将输入特征图不重叠地分割为hi×wi×[ci/mc]个尺寸为1×1×mc的光谱注意力窗口，其中mc为窗口的光谱维度尺寸其大小不超过特征通道数，交换维度使其变成为1×1×mc个长度为mc的词符序列然后在每个窗口内对各个词符序列分别计算注意力后，将窗口合并，还原至原始特征表示的尺寸；
18、所述计算注意力具体包括将点卷积通路的输出与sewa中的值v(value)加和之后参与注意力的计算，具体公式为：
19、
20、其中q、k、v分别代表注意力机制中的查询query，键key和值value，v_conv为点卷积通路的输出，dk为缩放因子。
21、进一步地，所述第一add&norm层由add和norm两部分组成，其计算公式为：
22、layernorm(x+(pw(x)+sewa(x)))
23、其中add是一种残差连接，norm指层归一化，pw(x)代表点卷积通路输出，sewa(x)代表光谱窗口注意力通路输出；
24、所述第二add&norm层的计算具体为：
25、layernorm(x+cffn(x))本文档来自技高网...
【技术保护点】
1.一种基于显微高光谱成像技术的图像分割方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的一种基于显微高光谱成像技术的图像分割方法，其特征在于，所述人工对可见光图像进行标注具体为：对于可见光图像的癌变区域进行框选，设置为对应的正类标签；对于可见光图像中背景以及癌变区域内部的部分非癌变区域同样标注，并设置为负类标签。
3.根据权利要求1所述的一种基于显微高光谱成像技术的图像分割方法，其特征在于，所述数据预处理包括光谱矫正和光谱降维，所述光谱矫正具体为：将采集得到的病理切片高光谱数据与对应的空白玻片数据进行逐位置相除，将原始数据中光强值转换为透光率；所述光谱降维具体为：在光谱波段中选取清晰的波段，并使用PCA主成分分析方法进一步降低图像光谱波段数。
4.根据权利要求1所述的一种基于显微高光谱成像技术的图像分割方法，其特征在于，所述特征提取主干网络中的图像嵌入模块具体为：
5.根据权利要求1所述的一种基于显微高光谱成像技术的图像分割方法，其特征在于，所述特征提取主干网络中的光谱混合特征提取模块具体为：包含点卷积通路和光谱窗口
6.根据权利要求5所述的一种基于显微高光谱成像技术的图像分割方法，其特征在于，所述点卷积通路由三个点卷积层，一个归一化层和一个激活层组成，光谱窗口注意力SeWA通路使用尺寸为1×1×Mc的窗口，以将输入特征图不重叠地分割为Hi×Wi×[Ci/Mc]个尺寸为1×1×Mc的光谱注意力窗口，其中Mc为窗口的光谱维度尺寸其大小不超过特征通道数；交换维度使其变成为1×1×Mc个长度为Mc的词符序列然后在每个窗口内对各个词符序列分别计算注意力后，将窗口合并，还原至原始特征表示的尺寸；
7.根据权利要求5所述的一种基于显微高光谱成像技术的图像分割方法，其特征在于，所述第一Add&Norm层由Add和Norm两部分组成，其计算公式为：
8.根据权利要求5所述的一种基于显微高光谱成像技术的图像分割方法，其特征在于，所述空间混合特征提取模块包含深度卷积通路和空间窗口注意力通路两个分支，
9.根据权利要求1所述的一种基于显微高光谱成像技术的图像分割方法，其特征在于，所述解码头网络包括金字塔池化模块PMM和FPN网络，所述金字塔池化模块PMM使用不同步长的池化层对输入特征进行池化，并对池化后的特征进行卷积，并使用双线性插值将特征还原回原始分辨率，将其与输入特征进行拼接，最后通过卷积融合多尺度特征；
10.根据权利要求1所述的一种基于显微高光谱成像技术的图像分割方法，其特征在于，所述对网络模型进行训练中使用交叉熵损失函数，其计算公式为：
...【技术特征摘要】
1.一种基于显微高光谱成像技术的图像分割方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的一种基于显微高光谱成像技术的图像分割方法，其特征在于，所述人工对可见光图像进行标注具体为：对于可见光图像的癌变区域进行框选，设置为对应的正类标签；对于可见光图像中背景以及癌变区域内部的部分非癌变区域同样标注，并设置为负类标签。
3.根据权利要求1所述的一种基于显微高光谱成像技术的图像分割方法，其特征在于，所述数据预处理包括光谱矫正和光谱降维，所述光谱矫正具体为：将采集得到的病理切片高光谱数据与对应的空白玻片数据进行逐位置相除，将原始数据中光强值转换为透光率；所述光谱降维具体为：在光谱波段中选取清晰的波段，并使用pca主成分分析方法进一步降低图像光谱波段数。
4.根据权利要求1所述的一种基于显微高光谱成像技术的图像分割方法，其特征在于，所述特征提取主干网络中的图像嵌入模块具体为：
5.根据权利要求1所述的一种基于显微高光谱成像技术的图像分割方法，其特征在于，所述特征提取主干网络中的光谱混合特征提取模块具体为：包含点卷积通路和光谱窗口注意力通路两个分支，将两分支的输出输入到第一add&norm层后输入到卷积前反馈层，将结果输入到第二add&norm层；空间混合特征提取模块具体为：包含深度卷积通路和空间窗口注意力通路两个分支，将两分支的输出输入到第一add&norm层后输入到卷积前反馈层，将结果输入到第二add&n...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。