【技术实现步骤摘要】
本专利技术属于半监督语义分割领域，具体的涉及到优化特征提取的交替伪标签方法。
技术介绍
1、语义分割旨在将图像中的像素分类到不同类别，半监督学习则利用未标注数据提高模型性能，缓解了传统方法中对大量像素级标注数据的依赖。半监督学习方法关键在于有效利用有限标签数据和无标签数据来训练模型。
2、近年来，深度学习技术的迅速发展为半监督语义分割带来新的机遇。研究人员提出了各种创新方法，如gan、自监督学习和协同训练，以解决语义分割中的挑战。通过引入额外的损失函数、数据增强技术和模型结构设计等手段，有效地利用无标签数据来提升性能。
3、然而，半监督语义分割仍是活跃的研究领域，面临着一些挑战，如标注样本的不平衡分布、标签噪声和模型的鲁棒性等。需要进一步的研究和探索，以提高其准确性和效率，并减少对标注样本的依赖。
技术实现思路
1、专利技术目的：本专利技术提出一种多重信息轴向引导非对称半监督语义分割方法。专利技术目的如下：
2、(1)当前的半监督语义分割方法通常借助模型生成伪标签来辅助训练无标签数据。然而，这些标签是由模型在未经充分训练的情况下生成的，它们往往无法捕捉到图像的复杂语义信息，或者可能受到模型自身的局限性和误差的影响。使用这些效果不佳的伪标签来训练模型可能会导致模型学习到错误的特征或者产生不稳定的训练行为。本专利技术采用条件随机场思想融合特征图邻域内的其他像素，从而生成更准确的伪标签。
3、(2)标签数据和无标签数据包含的信息存在差异，无
4、(3)半监督语义分割方法的设计旨在利用多个网络分支同时提取相同的泛化语义信息，以期模型能够学习到一种鲁棒性的特征表示，从而适应各种图像数据。但在标签数据不足的情况下，网络分支难以准确捕捉到足够的语义细节，从而导致特征表达的不够充分，模型很难学习到对于各种图像数据都适用的泛化特征表达。本专利技术采用多重信息提取，分别引入细节纹理信息和边缘形状信息，从提取信息维度上增强了模型的鲁棒性，增强了模型的性能。
5、技术方案：为了实现上述专利技术目的，本专利技术采用如下技术方案：
6、(1)从选定数据源中加载目标文件夹，并对其图像文件进行读取。接着，根据比例分区表格将所有图像文件划分为标签图像和无标签图像，为后续网络训练提供输入。
7、(2)对标签数据进行前景提取，根据标签中的分割图分别提取图像中的类别数据，然后将所有类别数据按照类别进行保存，随后将不同的类别主体随机组合生成新的标签图像数据以及他们对应的真实标签来增强标签数据的信息多样性。
8、(3)对基础模型进行超参数设置并进行训练，本专利技术所用基础模型为resnet残差网络，其输入是一个3通道的图像数据，输出为一个维度由浅到深的四层特征图，其尺寸分别为原始图像尺寸的1/2，1/4，1/4和1/8。这四层特征图将作为多重特征引导分支模块的输入。
9、(4)将1/4大小的特征图输入到细节纹理分支，以提取特征图中的细节纹理信息。虽然中等层次特征保留了更多的细节，但却缺乏泛化的语义表达，直接解码分割时会导致过拟合问题。因此，本专利技术将语义分支的特征信息作为细节纹理分支的语义补充，采用一种基于余弦相似度的融合算法。使得细节纹理分支能够有选择地获取语义信息，既不会因过度关注特定局部信息而导致过拟合，也不会与语义上下文分支过于相似而使网络失去多样性。
10、(5)将(3)提取的1/2浅层特征输入到边缘形状分支，对边缘形状信息进行提取，浅层特征能够准确提取的边界信息较少，因此本专利技术在边缘信息的空间注意力引导下，将细节纹理信息逐像素融合到边缘形状信息中，生成更具空间区域代表性的边缘特征。
11、(6)将从(3)提取的1/8深层特征输入到深层语义分支，以更准确地提取特征图中的语义信息。为了调整深层语义分支的预测输出，我们使用边缘预测作为辅助。语义上下文分支由于过高的下采样倍率，缺乏细节纹理和边界形状信息，这影响了其对图像的准确理解。相反，细节纹理分支和边缘形状分支则分别保留了空间细节信息和边界形状信息。因此，本文提出了借用边缘预测来调和语义信息和细节纹理信息的合成，丰富了语义分支的特征信息，还避免了语义分支过度融合细节信息而导致的过拟合现象。
12、(7)在无标签数据中，我们采用条件随机场来融合相邻像素区域，以合成其他分支的伪标签。在语义上下文分支和细节纹理分支的预测中，我们计算所有像素类别的联合修正概率，用以生成对方分支的监督信号。本专利技术提出的交叉融合伪标签方法不仅优化了伪标签的准确度，还有效地避免了网络分支生成自身的伪标签，从而防止末端损失学习的同化现象。
13、有益效果：与现有技术相比，本专利技术具有如下优点：
14、本专利技术使用了纹理信息和边缘信息来加强引导模型学习更多的特征信息，以此来增强模型的泛化能力，由此构建了以细节纹理和边缘形状引导轴向全局分割的半监督方法。该方法两个分支分别由不同的特征信息进行引导，两个分支之间相互监督有效避免了确认偏差对于模型性能的影响；且细节纹理和边缘形状两个不同的特征信息的加入也让模型拥有更好的信息表征能力，让有标签数据对于半监督学习的贡献比重增加，极大的增强了模型的泛化能力。更多的特征信息让标签数据的训练可以获得更多的监督，让标签数据比传统的半监督方法发挥的作用更大，这让本专利技术模型性能极大领先现有的模型表现。
15、在方法论上，本专利技术构建了互训练来让两个分支分别生成对方的伪标签，以此极大的改善了传统伪标签方法中模型过于相信模型输出导致学习到错误结果；本专利技术提出统计图像的纹理信息，使用低层纹理特征来修正模型的细节信息；分割领域内在边缘区域往往是较难去进行分类的，现有方法在边缘区域分类准确率较低，所以本专利技术使用边缘信息来优化模型的边缘分割效果，模型权重变化更大的地方往往是两个类别的接壤区域，让模型预测的边缘形状结果和标签经过canny算法后的边缘检测结果尽可能一致。本专利技术方法在两个开放数据集上结果相对于其他方法有着较大的优势，最重要的是本专利技术方法在其他方法常常出错的边缘重叠部分有着很大的改善。
16、在实验上，基于两个公开的半监督语义分割数据集pascal voc2012和cityscape的实验证明了多重信息轴向引导非对称半监督语义分割方法的有效性。
17、为了让实验易于比较，本专利技术在不同的有标签和无标签的数量比例分区协议下分别进行对比mean iou。分别对pascal voc2012(表1)和cityscape(表2)进行比较，pascalvoc2012主干采用resnet101，输入的裁剪大小为512；cityscape主干采用resnet50，输入的裁剪本文档来自技高网...
【技术保护点】
1.基于多重信息轴向引导非对称半监督语义分割方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的多重信息轴向引导对对称半监督语义分割方法，其特征在于：
3.根据权利要求1所述的多重信息轴向引导对对称半监督语义分割方法，其特征在于：
4.根据权利要求1所述的多重信息轴向引导对对称半监督语义分割方法，其特征在于：
5.根据权利要求1所述的多重信息轴向引导对对称半监督语义分割方法，其特征在于：
6.根据权利要求1所述的多重信息轴向引导对对称半监督语义分割方法，其特征在于：
7.根据权利要求1所述的多重信息轴向引导对对称半监督语义分割方法，其特征在于：
8.根据权利要求1所述的多重信息轴向引导对对称半监督语义分割方法，其特征在于：
【技术特征摘要】
1.基于多重信息轴向引导非对称半监督语义分割方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的多重信息轴向引导对对称半监督语义分割方法，其特征在于：
3.根据权利要求1所述的多重信息轴向引导对对称半监督语义分割方法，其特征在于：
4.根据权利要求1所述的多重信息轴向引导对对称半监督语义分割方法，其特征在于：
...【专利技术属性】
技术研发人员：车洵，陈亚当，朱旻昊，赵谦，徐睿，顾欢欢，征煜，王玉鹏，朱贤豪，
申请(专利权)人：江苏瑞智核信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。