【技术实现步骤摘要】
本专利技术涉及计算机视觉，尤其涉及一种基于连续注意力三分支网络的实时语义分割方法。
技术介绍
1、随着计算机视觉技术的快速发展，语义分割作为一项关键技术，在自动驾驶、医学影像分析、视频监控多个领域展现出广泛的应用潜力。传统的语义分割方法依赖于手工设计的特征提取器，在面对复杂场景和细节信息的处理，这些方法的处理效果并不是太满意，难以满足实时处理的需求。随着深度学习技术的兴起。基于卷积神经网络的实时语义分割方法已经取得了很好的分割性能，但仍然存在不同分辨率特征图之间语义间隙问题和融合时丢失细节信息的问题。
技术实现思路
1、本专利技术的目的是提供一种基于连续注意力三分支网络的实时语义分割方法，通过连续注意力交互模块提升不同分辨率特征图之间的语义表达，增加双分支之间信息交互，减少独立双分支之间的语义间隙，提升模型的性能。三分支细节注意融合模块使用自注意力机制对语义分支和细节分支进行融合，利用额外的细节分支进行再次融合，从而获得更好的细节表现。
2、为了实现上述目的，本专利技术所采用的技术方案是：一种基于连续注意力三分支网络的实时语义分割方法，包括以下步骤：
3、步骤1、将图片预处理为两种固定尺寸，然后送入骨干网对前三个阶段s1、s2、s3进行初步特征提取；
4、步骤2、从s3阶段开始，使用连续注意力交互模块caim对细节分支和语义分支两个独立分支进行特征交互；
5、步骤3、使用三分支细节注意融合模块tbdafm对细节分支和语义分支进行融合，
6、步骤4、为实现高效准确分割，对公开数据集cityscapes进行双分支结构模型训练；
7、步骤5、将融合后的特征图送入分割头，输出图片中的每个物体的类别标签。
8、优选的，所述步骤1中s1、s2、s3阶段经过多次的卷积、池化和非线性处理，让图片的图像分辨率降低到原始输入的1/8。
9、优选的，所述步骤3中语义分支和细节分支利用自注意力机制进行深度融合。
10、优选的，所述步骤4中采用随机缩放、随机填充作物、随机水平翻转、随机颜色抖动和归一化进行数据增强。
11、优选的，所述公开数据集cityscapes的随机缩放范围分别为[0.25，2.0]。
12、本专利技术的有益效果是：
13、本方案通过连续注意力交互模块提升不同分辨率特征图之间的语义表达，增加双分支之间信息交互，减少独立双分支之间的语义间隙，提升模型的性能。三分支细节注意融合模块使用自注意力机制对语义分支和细节分支进行融合，利用额外的细节分支进行再次融合，从而获得更好的细节表现。实现了速度和性能之间的平衡，可以很好的保证较高的精度和较快的推理速度。分割结果更清晰、标签分类更加正确，实现不错的分割效果。
本文档来自技高网...【技术保护点】
1.一种基于连续注意力三分支网络的实时语义分割方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种基于连续注意力三分支网络的实时语义分割方法，其特征在于：所述步骤1中S1、S2、S3阶段经过多次的卷积、池化和非线性处理，让图片的图像分辨率降低到原始输入的1/8。
3.根据权利要求1所述的一种基于连续注意力三分支网络的实时语义分割方法，其特征在于：所述步骤3中语义分支和细节分支利用自注意力机制进行深度融合。
4.根据权利要求1所述的一种基于连续注意力三分支网络的实时语义分割方法，其特征在于：所述步骤4中采用随机缩放、随机填充作物、随机水平翻转、随机颜色抖动和归一化进行数据增强。
5.根据权利要求4所述的一种基于连续注意力三分支网络的实时语义分割方法，其特征在于：所述公开数据集Cityscapes的随机缩放范围分别为[0.25，2.0]。
【技术特征摘要】
1.一种基于连续注意力三分支网络的实时语义分割方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种基于连续注意力三分支网络的实时语义分割方法，其特征在于：所述步骤1中s1、s2、s3阶段经过多次的卷积、池化和非线性处理，让图片的图像分辨率降低到原始输入的1/8。
3.根据权利要求1所述的一种基于连续注意力三分支网络的实时语义分割方法，其特征在于：所述步骤3中语义分支...
【专利技术属性】
技术研发人员：董永生，徐世泽，刘刚，郑林涛，陈桂，杨春蕾，梁灵飞，
申请(专利权)人：河南科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。