【技术实现步骤摘要】
本专利技术属于图像处理的，具体涉及一种基于边界感知和双向融合的医学图像分割方法。
技术介绍
1、皮肤镜检查是一种用于检测和诊断黑色素瘤等皮肤病的非侵入性成像技术，通常被认为是早期定位皮肤病变的金标准。传统上，恶性皮肤病变可以由经验丰富的皮肤科医生手动标记和检查，但这一过程极其繁琐和耗时，因此，计算机辅助诊断(cad)中的自动皮肤病变分割已被广泛设计帮助皮肤科医生分析黑色素瘤等恶性皮肤病的支持方法，如可以从数字皮肤镜图像中提取关键信息，这可以帮助医生定量分析病变形状、诊断、定位病变等任务。
2、近年来，各种基于卷积神经网络(cnns)的算法由于其在局部感知方面的固有优势，在皮肤损伤分割任务中表现良好。然而，在分割目标具有不规则形状和不同尺度的复杂条件下，由于卷积神经网络编码过程不可避免地会导致位置和全局上下文信息的丢失，并且连续的解码操作也无法完全恢复低级细节的空间信息，有损于皮肤损伤分割中的像素分配。因此，学习医学图像中像素之间的长距离相关性，特别是病变像素和周围健康皮肤像素之间的相关性，对提高皮肤病变分割精度起着至关重要的作用。
技术实现思路
1、本专利技术提供了一种基于边界感知和双向融合的医学图像分割方法，使用了一种双分支并行的编码器结构，第一编码分支的vision transformer模型因自注意力机制优点具有良好的全局表征能力，弥补了第二编码分支cnn模型的全局感知能力有限的局限性，两者正好可以相辅相成、优势互补，同时通过一个双向融合模块来将两个模态的特征进行
2、结合了卷积神经网络模型cnn和vision transformer模型vit，分析局部特征和全局上下文信息方面的互补优势，可以有效融合局部和全局特征。此外，由于皮肤科医生通常一开始会给皮肤病变指定一个粗略的位置，并用详细的空间特征精细地勾勒出遮罩的轮廓，可以推断位置和边界是区分健康皮肤和皮肤病变的两个重要特征。因此，本专利技术还对边界线索和尺度信息进行了分析，为整个网络提供了边界先验知识，使得本方法能够得到更精准的分割结果。解决现有方法分割精度不高、分割效果较差等技术问题。
3、本专利技术可通过以下技术方案实现：
4、一种基于边界感知和双向融合的医学图像分割方法，包括以下步骤：
5、s1、根据目标任务构造数据集，所述数据集包括对特定目标进行像素级标注的多个图像；
6、s2、构建分割网络模型，并将数据集中的图像输入构建好的分割网络模型中进行训练，
7、所述分割网络模型采用双分支编解码结构，包括编码模块和解码模块，其中，所述编码模块用于对输入图像进行编码，包括通过双向融合模块连接的第一编码分支和第二编码分支，它们均采用分层结构，且一一对应设置，所述第一编码分支和第二编码分支中前一层输出的编码图像经双向融合模块中对应层双向融合处理后对应输出第一融合图像和第二融合图像，分别作为第一编码分支和第二编码分支中后一级的输入；
8、所述解码模块用于对编码后的图像进行解码，获取分割后的图像，包括一级解码模块和二级解码模块，所述一级解码模块包括与第一编码分支、第二编码分支对应设置的第一解码分支和第二解码分支，用于实现初始解码，获取图像的显著特征，所述二级解码模块用于实现最终解码，获取图像的边缘特征，完成图像分割；
9、s3、将待分割的图像数据输入到训练好的分割网络模型中，得到目标图像的高精度分割结果。
10、进一步，所述双向融合模块包括特征对齐模块、特征过滤模块和特征融合模块，所述特征对齐模块用于对第一编码分支对应层输出的编码图像执行卷积和上采样操作，对第二编码分支对应层输出的编码图像执行卷积和下采样操作，以使两者的特征对齐；所述特征过滤模块采用注意力门控机制对对齐后的特征分别进行处理，获取对应的注意力系数，再与对齐后的特征相乘校准，减少特征冗余；所述特征融合模块将校准后的特征与第一编码分支对应层输出的编码图像、第二编码分支对应层输出的编码图像交叉做残差处理，实现特征融合。
11、进一步，所述特征过滤模块采用一维注意力门对第一编码分支对应层输出的编码图像和第二编码分支对应层输出的编码图像对齐后的特征进行处理，获取第二注意力系数，再和第二编码分支对应层输出的编码图像对齐后的特征相乘校准，输出第二过滤图像；
12、采用二维注意力门对第二编码分支对应层输出的编码图像和第一编码分支对应层输出的编码图像对齐后的特征进行处理，获取第一注意力系数，再和第一编码分支对应层输出的编码图像对齐后的特征相乘校准，输出第一过滤图像；
13、所述特征融合模块将第一过滤图像和第二编码分支对应层输出的编码图像做残差处理，输出第二融合图像；将第二过滤图像和第一编码分支对应层输出的编码图像做残差处理，输出第一融合图像。
14、进一步，所述第二解码分支以第二编码分支中倒数两层输出的编码图像、以及编码模块最终输出的对应第二编码分支的第二融合图像作为输入，实施解码；
15、所述二级解码模块采用分层结构，每层均包括反向注意力模块和残差模块，其中，第一层的反向注意力模块对编码模块最终输出的对应第二编码分支的第二融合图像以及第二解码分支最终的输出图像进行反向注意力处理，其输出图像再与第二解码分支最终的输出图像做残差处理；
16、中间层的反向注意力模块均以前一层的输出图像和第二编码支路对应层输出的编码图像作为输入，其输出图像再与前一层的输出图像做残差处理，所述第二编码支路对应层输出的编码图像从倒数第一层向前直至正数第三层；
17、最后一层的反向注意力模块对第一解码分支最终的输出图像和第二编码支路正数第二层输出的编码图像进行反向注意力处理，其输出图像再与第一解码分支最终的输出图像以及前一层的输出图像做残差处理，实现最终解码。
18、进一步，对于第一解码分支、第二解码分支和二级解码模块的各层网络均采用深度监督策略来纠正预测图和真实标签之间的误差。
19、进一步，所述第一编码分支采用transformer编码器，所述第二编码分支采用cnn编码器，所述第一解码分支采用cnn解码器，所述第二解码分支采用部分解码器，所述二级解码模块采用边界感知解码器；
20、所述第一编码分支、第二编码分支均采用四层网络结构，所述第一编码分支的每层均由一个或者多个transformer模块组成，每个所述transformer模块均包括一个多头自注意模块和一个mlp模块，其中第一层、第二层均包括四个transformer模块，第三层包括三个transformer模块，第四层包括一个transformer模块；
21、所述第二编码分支的每层均由多组级联的瓶颈层组成，每个瓶颈层均包含一个下采样卷本文档来自技高网...
【技术保护点】
1.一种基于边界感知和双向融合的医学图像分割方法，其特征在于包括以下步骤：
2.根据权利要求1所述的基于边界感知和双向融合的医学图像分割方法，其特征在于：所述双向融合模块包括特征对齐模块、特征过滤模块和特征融合模块，所述特征对齐模块用于对第一编码分支对应层输出的编码图像执行卷积和上采样操作，对第二编码分支对应层输出的编码图像执行卷积和下采样操作，以使两者的特征对齐；所述特征过滤模块采用注意力门控机制对对齐后的特征分别进行处理，获取对应的注意力系数，再与对齐后的特征相乘校准，减少特征冗余；所述特征融合模块将校准后的特征与第一编码分支对应层输出的编码图像、第二编码分支对应层输出的编码图像交叉做残差处理，实现特征融合。
3.根据权利要求2所述的基于边界感知和双向融合的医学图像分割方法，其特征在于：所述特征过滤模块采用一维注意力门对第一编码分支对应层输出的编码图像和第二编码分支对应层输出的编码图像对齐后的特征进行处理，获取第二注意力系数，再和第二编码分支对应层输出的编码图像对齐后的特征相乘校准，输出第二过滤图像；
4.根据权利要求1所述的基于边界感知和
5.根据权利要求4所述的基于边界感知和双向融合的医学图像分割方法，其特征在于：对于第一解码分支、第二解码分支的预测结果和二级解码模块的各层网络均采用深度监督策略来纠正预测图和真实标签之间的误差。
6.根据权利要求1所述的基于双重注意力融合的图像分割方法，其特征在于：所述第一编码分支采用Transformer编码器，所述第二编码分支采用CNN编码器，所述第一解码分支采用CNN解码器，所述第二解码分支采用部分解码器，所述二级解码模块采用边界感知解码器；
...【技术特征摘要】
1.一种基于边界感知和双向融合的医学图像分割方法，其特征在于包括以下步骤：
2.根据权利要求1所述的基于边界感知和双向融合的医学图像分割方法，其特征在于：所述双向融合模块包括特征对齐模块、特征过滤模块和特征融合模块，所述特征对齐模块用于对第一编码分支对应层输出的编码图像执行卷积和上采样操作，对第二编码分支对应层输出的编码图像执行卷积和下采样操作，以使两者的特征对齐；所述特征过滤模块采用注意力门控机制对对齐后的特征分别进行处理，获取对应的注意力系数，再与对齐后的特征相乘校准，减少特征冗余；所述特征融合模块将校准后的特征与第一编码分支对应层输出的编码图像、第二编码分支对应层输出的编码图像交叉做残差处理，实现特征融合。
3.根据权利要求2所述的基于边界感知和双向融合的医学图像分割方法，其特征在于：所述特征过滤模块采用一维注意力门对第一编码分支对应层输出的编码图像和第二编码分支对应层输出的编码...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。