【技术实现步骤摘要】
本专利技术涉及计算机视觉和机器学习，具体涉及图像语义分割，尤其涉及一种基于特征自增强的rgb-d分割方法、系统及训练方法。
技术介绍
1、语义分割是计算机视觉领域中一项关键任务，旨在为图像中的每个像素分配一个语义标签。随着深度学习技术的发展，语义分割在精度和效率上取得了显著的进展。
2、然而相比于单纯的rgb图像，rgb-d图像(即包含深度信息的rgb图像)在语义分割中表现出更大的潜力，因为深度信息可以提供额外的几何和空间线索，帮助模型更好地理解场景和物体的形状与边界。
3、此外，rgb-d语义分割在计算机视觉领域中拥有广泛的应用前景，其在多模态数据处理上的挑战和潜力促使不断探索更有效的技术和方法。未来的研究将继续推进在数据融合、模型设计和实际应用中的进步，推动这一领域的持续发展。
4、将rgb信息和深度信息有效地融合起来是rgb-d语义分割的核心挑战之一。两种类型的信息具有不同的特性和噪声模式，传统的融合方法可能难以充分利用它们的互补优势。具体的，深度数据常常受到传感器精度、视角限制和环境条件的影响，这些因素可能导致深度图像中的噪声和缺失。如何在融合过程中处理这些问题，是提升分割性能的关键。针对深度信息中的噪声和缺失，开发更鲁棒的处理方法，使得模型在各种环境和条件下都能保持高性能是本领域的追求，但目前的技术方案还仍旧没有达到这一目标。
技术实现思路
1、针对现有技术的不足，本专利技术的目的在于提供一种基于特征自增强的rgb-d分割方法、系统及训
2、为实现前述专利技术目的，本专利技术采用的技术方案包括：
3、第一方面，本专利技术提供一种基于特征自增强的rgb-d图像分割模型的训练方法，其包括：
4、获取rgb图像和对应的深度图像，输入编码器获得深度特征以及多个级别的rgb特征；
5、融合所述深度特征和初级rgb特征，获得初步融合特征；
6、将所述初步融合特征作为第一个输入深度特征在第二级rgb特征的引导下进行获得初步的自增强特征，利用更高级的rgb特征引导当前级别的融合特征的自增强获得最终融合特征；
7、将所述最终融合特征和多个级别的所述rgb特征输入解码器，获得分割结果，并基于真值标签引导进行参数更新。
8、第二方面，本专利技术还提供一种基于特征自增强的rgb-d图像分割方法，利用上述训练方法获得的rgb-d图像分割模型进行语义分割，包括：
9、获取待分割的rgb图像和对应的深度图像，输入编码器获得深度特征以及多个级别的rgb特征；
10、融合所述深度特征和初级rgb特征，获得初步融合特征；
11、将所述初步融合特征作为第一个输入特征在第二级rgb特征的引导下进行自增强，获得输出特征，并将所述输出特征继续作为新的输入特征进行更高级rgb特征的引导下的自增强，直至获得最终融合特征；
12、将所述最终融合特征和多个级别的所述rgb特征输入解码器，获得分割结果。
13、第三方面，本专利技术还提供一种基于特征自增强的rgb-d图像分割系统，包括上述训练方法获得的rgb-d图像分割模型，所述rgb-d图像分割模型包括：
14、编码器模块，用于利用待分割的rgb图像和对应的深度图像，获得深度特征以及多个级别的rgb特征；
15、初步融合模块，用于融合所述深度特征和初级rgb特征，获得初步融合特征；
16、特征自增强模块，用于将所述初步融合特征作为第一个输入特征在第二级rgb特征的引导下进行自增强，获得输出特征，并将所述输出特征继续作为新的输入特征进行更高级rgb特征的引导下的自增强，直至获得最终融合特征；
17、解码器模块，用于将所述最终融合特征和多个级别的所述rgb特征输入解码器，获得分割结果。
18、第四方面，本专利技术还提供了一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被运行时执行上述训练方法或上述rgb-d图像分割方法的步骤，或存储有上述训练方法获得的rgb-d图像分割模型。
19、基于上述技术方案，与现有技术相比，本专利技术的有益效果至少包括：
20、本专利技术所提供的模型构建方法利用高级别的rgb特征引导低级别融合特征的自增强，能够通过循环自增强的方式来压制深度信息中存在的噪声，从而充分利用它们的互补优势，避免深度图像中的噪声和缺失对训练以及图像分割过程的干扰，从而提高训练效率、分割边缘的准确性和鲁棒性，并使得模型在各种环境和条件下都能保持高性能。
21、上述说明仅是本专利技术技术方案的概述，为了能够使本领域技术人员能够更清楚地了解本申请的技术手段，并可依照说明书的内容予以实施，以下以本专利技术的较佳实施例并配合详细附图说明如后。
本文档来自技高网...【技术保护点】
1.一种基于特征自增强的RGB-D图像分割模型的训练方法，其特征在于，包括：
2.根据权利要求1所述的训练方法，其特征在于，所述深度特征和初级RGB特征的融合采用注意力机制，动态调整每个所述深度特征和初级RGB特征的重要性进行融合。
3.根据权利要求2所述的训练方法，其特征在于，所述注意力机制下的融合过程表示为：
4.根据权利要求1所述的训练方法，其特征在于，所述自增强具体包括：
5.根据权利要求4所述的训练方法，其特征在于，所述自增强的过程表示为：
6.根据权利要求1所述的训练方法，其特征在于，所用的损失函数包括语义边缘损失，所述语义边缘损失的计算方式为：
7.根据权利要求6所述的训练方法，其特征在于，所述损失函数表示为：
8.根据权利要求7所述的训练方法，其特征在于，所述标准化流解码器的计算公式为：
9.一种基于特征自增强的RGB-D图像分割方法，其特征在于，利用权利要求1-8中任意一项所述的训练方法获得的RGB-D图像分割模型进行语义分割，包括：
10.一种基于特征自
...【技术特征摘要】
1.一种基于特征自增强的rgb-d图像分割模型的训练方法，其特征在于，包括：
2.根据权利要求1所述的训练方法，其特征在于，所述深度特征和初级rgb特征的融合采用注意力机制，动态调整每个所述深度特征和初级rgb特征的重要性进行融合。
3.根据权利要求2所述的训练方法，其特征在于，所述注意力机制下的融合过程表示为：
4.根据权利要求1所述的训练方法，其特征在于，所述自增强具体包括：
5.根据权利要求4所述的训练方法，其特征在于，所述自增强的过程表示为：
6.根据权利要求1所述的训练方法，其特征在于，所用的损...
【专利技术属性】
技术研发人员：项鹏程，邱晓杰，姚保琛，郑晔，彭成斌，
申请(专利权)人：宁波大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。