一种基于跨尺度解码的生物图像实例分割方法技术

本发明专利技术提供一种基于跨尺度解码的生物图像实例分割方法，包括以下步骤：构建生物图像实例分割系统；所述生物图像实例分割系统包括骨干网络

【技术实现步骤摘要】
一种基于跨尺度解码的生物图像实例分割方法


[0001]本专利技术属于图像分割
，具体涉及一种基于跨尺度解码的生物图像实例分割方法
。

技术介绍

[0002]生物图像实例分割是计算机视觉领域中的一个关键任务，旨在从生物图像中精确地提取出感兴趣的生物结构，如细胞
、
器官和病变区域
。
这项技术在医学影像分析
、
细胞生物学研究以及生物医学工程等领域具有重要意义
。
随着先进的图像采集技术的发展，如显微镜成像
、
核磁共振成像和计算机断层扫描等，生物图像的复杂性和数据量不断增加，使得高效准确的实例分割方法变得至关重要
。
[0003]传统的基于手工设计特征的方法在处理生物图像复杂性时面临挑战，因此深度学习技术在生物图像实例分割中取得了显著的突破
。
卷积神经网络
(CNN)
和
U
‑
Net
等架构已经成为主流，能够自动从数据中学习到特征，并对生物结构的形态
、
纹理和边界进行建模
。
但是，对于更为复杂的生物图像，例如图像背景存在杂质过多
、
灰暗
、
过曝等情况，分割对象存在卷曲
、
交叠
、
多尺度
、
高密度等情况，其仍然存在漏检和背景误检的情况
。
因此，现有的生物图像实例分割技术在实例分割精度方面仍有待改进r/>。

技术实现思路

[0004]针对现有技术存在的缺陷，本专利技术提供一种基于跨尺度解码的生物图像实例分割方法，可有效解决上述问题
。
[0005]本专利技术采用的技术方案如下：
[0006]本专利技术提供一种基于跨尺度解码的生物图像实例分割方法，包括以下步骤：
[0007]步骤1，构建生物图像实例分割系统；所述生物图像实例分割系统包括骨干网络
、
编码器
、
解码器和结果处理器；
[0008]步骤2，所述骨干网络接收原始生物图像，对所述原始生物图像进行多尺度特征提取，输出多尺度生物图像特征图；
[0009]步骤3，所述编码器对所述多尺度生物图像特征图进行融合并编码，生成多尺度生物图像嵌入张量；
[0010]步骤4，所述解码器通过被学习出的目标实例查询量，对所述多尺度生物图像嵌入张量进行解码，得到多层次解码结果；每个层次的解码结果包括初步实例分割结果
、
骨架特征张量和类别张量；
[0011]步骤5，所述结果处理器以多层次的骨架特征张量作为查询量，对步骤3生成的多尺度生物图像嵌入张量进行跨尺度译码，即：利用高层的骨架特征张量作为查询量，从低尺度的生物图像嵌入张量进行解码，得到最终的实例分割结果
。
[0012]优选的，所述骨干网络包括卷积层和池化层；或者，包括注意力模块和前馈神经网络；
[0013]所述骨干网络对所述原始生物图像进行下采样特征提取，生成第1尺度生物图像特征图
C1；然后，对所述第1尺度生物图像特征图
C1进一步进行下采样特征提取，生成第2尺度生物图像特征图
C2，依此类推，直到生成第
n
尺度生物图像特征图
C
n
；其中，原始生物图像
,
第1尺度生物图像特征图
C1,
…
,
第
n
尺度生物图像特征图
C
n
的尺寸逐渐缩小，图像分辨率逐渐降低，其低层图像特征逐渐增强
。
[0014]优选的，所述编码器包括上采样层
、
叠加层
、
自注意力模块和前馈神经网络；
[0015]所述编码器接收所述第
n
尺度生物图像特征图
C
n
，作为第1尺度编码特征图
O1；
[0016]所述编码器对第1尺度编码特征图
O1进行上采样，得到与第
n
‑1尺度生物图像特征图
C
n
‑1尺寸相同的特征图，再将得到的特征图与第
n
‑1尺度生物图像特征图
C
n
‑1通过叠加层进行叠加融合，得到第2尺度编码特征图
O2；
[0017]依此类推，在得到第
n
尺度编码特征图
O
n
后，对第
n
尺度编码特征图
O
n
进行上采样，得到与原始生物图像尺寸相同的特征图，再将得到的特征图与原始生物图像通过叠加层进行叠加融合，得到第
n+1
尺度编码特征图
O
n+1
；其中，第1尺度编码特征图
O1，第2尺度编码特征图
O2,
…
,
第
n+1
尺度编码特征图
O
n+1
的尺寸逐渐变大，图像分辨率逐渐升高，其高层图像特征逐渐增强；
[0018]然后，采用所述自注意力模块和前馈神经网络，分别计算第1尺度编码特征图
O1，第2尺度编码特征图
O2,
…
,
第
n+1
尺度编码特征图
O
n+1
的嵌入张量，以捕获不同位置之间的长距离依赖关系，对应生成第1尺度生物图像嵌入张量
V1，第2尺度生物图像嵌入张量
V2,
…
,
第
n+1
尺度生物图像嵌入张量
V
n+1
；其中，采用以下方法，得到每个尺度生物图像嵌入张量：
[0019]通过自注意力模块对编码特征图进行空间维度变换，捕获生物图像不同位置之间的长距离依赖关系，得到初始嵌入张量；然后，使用前馈神经网络对所述初始嵌入张量进行非线性变换，得到更加鲁棒和表达能力更强的嵌入张量
。
[0020]优选的，所述解码器包括
n
层解码层，每层包括自注意力模块
、
交叉注意力模块和前馈神经网络；
[0021]所述解码器通过被学习出的目标实例查询量，对第1尺度生物图像嵌入张量
V1进行解码，生成第1层次的解码结果；
[0022]所述解码器通过被学习出的目标实例查询量，对第2尺度生物图像嵌入张量
V2进行解码，生成第2层次的解码结果；
[0023]依此类推
[0024]所述解码器通过被学习出的目标实例查询量，对第
n
尺度生物图像嵌入张量
V
n
进行解码，生成第
n
层次的解码结果；
[0025]其中，每层次的解码结果均包括初步实例分割结果
、
骨架特征张量和类本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于跨尺度解码的生物图像实例分割方法，其特征在于，包括以下步骤：步骤1，构建生物图像实例分割系统；所述生物图像实例分割系统包括骨干网络
、
编码器
、
解码器和结果处理器；步骤2，所述骨干网络接收原始生物图像，对所述原始生物图像进行多尺度特征提取，输出多尺度生物图像特征图；步骤3，所述编码器对所述多尺度生物图像特征图进行融合并编码，生成多尺度生物图像嵌入张量；步骤4，所述解码器通过被学习出的目标实例查询量，对所述多尺度生物图像嵌入张量进行解码，得到多层次解码结果；每个层次的解码结果包括初步实例分割结果
、
骨架特征张量和类别张量；步骤5，所述结果处理器以多层次的骨架特征张量作为查询量，对步骤3生成的多尺度生物图像嵌入张量进行跨尺度译码，即：利用高层的骨架特征张量作为查询量，从低尺度的生物图像嵌入张量进行解码，得到最终的实例分割结果
。2.
根据权利要求1所述的一种基于跨尺度解码的生物图像实例分割方法，其特征在于，所述骨干网络包括卷积层和池化层；或者，包括注意力模块和前馈神经网络；所述骨干网络对所述原始生物图像进行下采样特征提取，生成第1尺度生物图像特征图
C1；然后，对所述第1尺度生物图像特征图
C1进一步进行下采样特征提取，生成第2尺度生物图像特征图
C2，依此类推，直到生成第
n
尺度生物图像特征图
C
n
；其中，原始生物图像
,
第1尺度生物图像特征图
C1,
…
,
第
n
尺度生物图像特征图
C
n
的尺寸逐渐缩小，图像分辨率逐渐降低，其低层图像特征逐渐增强
。3.
根据权利要求2所述的一种基于跨尺度解码的生物图像实例分割方法，其特征在于，所述编码器包括上采样层
、
叠加层
、
自注意力模块和前馈神经网络；所述编码器接收所述第
n
尺度生物图像特征图
C
n
，作为第1尺度编码特征图
O1；所述编码器对第1尺度编码特征图
O1进行上采样，得到与第
n
‑1尺度生物图像特征图
C
n
‑1尺寸相同的特征图，再将得到的特征图与第
n
‑1尺度生物图像特征图
C
n
‑1通过叠加层进行叠加融合，得到第2尺度编码特征图
O2；依此类推，在得到第
n
尺度编码特征图
O
n
后，对第
n
尺度编码特征图
O
n
进行上采样，得到与原始生物图像尺寸相同的特征图，再将得到的特征图与原始生物图像通过叠加层进行叠加融合，得到第
n+1
尺度编码特征图
O
n+1
；其中，第1尺度编码特征图
O1，第2尺度编码特征图
O2,
…
,
第
n+1
尺度编码特征图
O
n+1
的尺寸逐渐变大，图像分辨率逐渐升高，其高层图像特征逐渐增强；然后，采用所述自注意力模块和前馈神经网络，分别计算第1尺度编码特征图
O1，第2尺度编码特征图
O2,
…
,
第
n+1
尺度编码特征图
O
n+1
的嵌入张量，以捕获不同位置之间的长距离依赖关系，对应生成第1尺度生物图像嵌入张量
V1，第2尺度生物图像嵌入张量
V2,
…
,
第
n+1
尺度生物图...

【专利技术属性】
技术研发人员：马腾辉，李叶，许乐乐，徐金中，郭丽丽，
申请(专利权)人：中国科学院空间应用工程与技术中心，
类型：发明
国别省市：