一种基于Segformer的轻量化道路图像分割方法技术

技术编号：40528348 阅读：7 留言：0更新日期：2024-03-01 13:48

本发明专利技术涉及图像分割技术领域，具体涉及一种基于Segformer的轻量化道路图像分割方法，针对Segformer模型存在的问题，基于交叉特征融合网络进行改进，在第一层中引入语义特征融合模块(semantic‑feature fusion，SFF)，在第二层中采用坐标注意力模块(coordinate attention，CA)，第三层中采用门控注意力机制模块(gated‑attention mechanism，GAM)，第四层中使用利用SENet模块重新校准特征映射，最后输送到语义分割解码器预测图像中各个像素的语义类别，本发明专利技术在不同情况下的语义特征融合分别采用了SFF和GAM模块，使分割效果更连续，更细化，同时采用了两种注意力模块CA和SENet，帮助模型精准地定位和识别感兴趣的目标，以少量的参数量和计算量保证高效且精准的图像分割，提高了自动驾驶时的实时性。

全部详细技术资料下载

【技术实现步骤摘要】

本专利技术涉及图像分割，具体涉及一种基于segformer的轻量化道路图像分割方法。

技术介绍

1、早期的语义分割方法主要基于手工设计的特征和基于区域的算法，如边缘检测分割法、区域分割法等都是利用图像的颜色、灰度、纹理、几何形状等特征把图像划分为不同的区域，然后使用手工设计的特征和分类器将这些区域分类为不同的语义类别。但这些方法只能从图像中获取低级的语义信息，无法到达真正意义上的对场景信息的“理解”。

2、随着深度学习方法的兴起，全卷积网络(fcn)被引入用于语义分割任务。fcn将传(convolutionalneural network，cnn)后的全连接层(fully connected layer，fc)换成了反卷积层；同时，使用上采样的方式对图像尺寸进行恢复。因此，fcn可以接收任意大小的输入图像，并输出与输入图像相同尺寸的预测结果，实现了端到端的像素级预测。在fcn的基础上，出现了一系列的改进模型，如u-net、segnet、deeplab系列等。它们引入了跳跃连接、空洞卷积、多尺度特征融合等技术来提高语义分割的准确性和精度。为了更好地处理目标的上下文信息和边界细节，一些方法引入了注意力机制，如自注意力机制(self-attention)和空间注意力机制(spatial attention)。这些方法能够对图像的全局和局部信息进行建模，以改善语义分割的性能。segformer就是采用了自注意力机制和全局上下文建模，由多层transformer encoder和轻量级的all-mlp(多层感知机)decode

技术实现思路

1、本专利技术的目的在于提供一种基于segformer的轻量化道路图像分割方法，旨在以少量的参数量和计算量保证高效且精准的图像分割,提高了自动驾驶时的实时性，并在不同情况下的语义特征融合分别采用了sff和gam模块，使分割效果更连续，更细化。

2、为实现上述目的，本专利技术提供了一种基于segformer的轻量化道路图像分割方法，包括下列步骤：

3、基于segformer模型进行改进，在第一层中采用语义特征融合模块；

4、在第二层中使用坐标注意力模块；

5、在第三层中采用门控注意力机制模块；

6、在第四层中利用senet模块重新校准特征映射；

7、使用改进后的segformer网络模型预测图像中像素的语义类别。

8、可选的，所述语义特征融合模块负责由高层语义特征向距离大小为2的低层细节特征进行特征融合。

9、可选的，在第二层中所述坐标注意力模块分别对合并的语义信息特征的表达能力进行增强，所述坐标注意力模块不仅捕获跨通道的信息，还捕获方向感知和位置感知的信息。

10、可选的，所述门控注意力机制模块用于过滤部分对细节信息有干扰的语义信息特征，尤其在合并不同坐标注意力模块输出的有较多语义信息的特征与有较多细节信息的特征时。

11、可选的，所述senet模块用于重新校准特征映射，提升有用的特征并抑制对当前任务用处不大的特征。

12、可选的，所述改进后的segformer网络模型中，在卷积层后使用bn，激活函数采用relu或sigmoid函数。

13、可选的，在预测图像中像素的语义类别的过程中，将经过四层融合提取后的特征输送到语义分割解码器进行预测，其中seg为语义分割解码器，采用卷积核为1×1的标准卷积层，输出解码后的语义分割图像。

14、本专利技术提供了一种基于segformer的轻量化道路图像分割方法，针对segformer模型存在的问题，基于交叉特征融合网络进行改进，在第一层中引入语义特征融合模块(semantic-feature fusion，sff)，在第二层中采用坐标注意力模块(coordinateattention，ca)，第三层中采用门控注意力机制模块(gated-attention mechanism，gam)，第四层中使用利用senet模块重新校准特征映射，最后输送到语义分割解码器预测图像中各个像素的语义类别，本专利技术在不同情况下的语义特征融合分别采用了sff和gam模块，使分割效果更连续，更细化，同时采用了两种注意力模块ca和senet，帮助模型精准地定位和识别感兴趣的目标，以少量的参数量和计算量保证高效且精准的图像分割，提高了自动驾驶时的实时性。

本文档来自技高网...

【技术保护点】

1.一种基于Segformer的轻量化道路图像分割方法，其特征在于，包括下列步骤：

2.如权利要求1所述的基于Segformer的轻量化道路图像分割方法，其特征在于，

3.如权利要求2所述的基于Segformer的轻量化道路图像分割方法，其特征在于，

4.如权利要求3所述的基于Segformer的轻量化道路图像分割方法，其特征在于，

5.如权利要求4所述的基于Segformer的轻量化道路图像分割方法，其特征在于，

6.如权利要求5所述的基于Segformer的轻量化道路图像分割方法，其特征在于，

7.如权利要求6所述的基于Segformer的轻量化道路图像分割方法，其特征在于，

【技术特征摘要】

1.一种基于segformer的轻量化道路图像分割方法，其特征在于，包括下列步骤：

2.如权利要求1所述的基于segformer的轻量化道路图像分割方法，其特征在于，

3.如权利要求2所述的基于segformer的轻量化道路图像分割方法，其特征在于，

4.如权利要求3所述的基于segforme...

【专利技术属性】
技术研发人员：陶晓玲，王磊，李为坤，陈晓婕，胡经飞，沐俊瑶，韩林男，谢春燕，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：

全部详细技术资料下载我是这个专利的主人