【技术实现步骤摘要】
本专利技术属于模式识别，具体涉及一种端到端弱监督实例分割方法及系统。
技术介绍
1、实例分割是计算机视觉中的一项基础任务，广泛应用于自动驾驶和医疗保健等领域。精确的掩码预测对这一任务提出了重大挑战。尽管已有诸如 maskformer、 mask2former、 mask r-cnn等方法表现出竞争力，但在每像素掩码标注的高成本方面仍存在诸多难题。因此，弱监督实例分割方法成为应对这些挑战的探索方向。
2、根据监督级别，弱监督实例分割可分为三类：类级、点/涂鸦级和边界框级。类级监督因难以区分不同实例，可能导致不准确的掩码预测。相较之下，点/涂鸦级标签具备区分对象的能力，且在之前的研究中已有应用。然而，点级标注可能无法提供足够的信息来精确识别实例。边界框级监督则值得关注，因为它能够更精确地定位实例，并已被证明在弱监督实例分割中具有有效性。
3、边界框级实例分割是研究人员重点开发和尝试的方向。此前的方法大致分为两类：一类是生成伪掩码并利用其训练全监督的实例分割网络，但这类方法通常需要多阶段训练或补充数据；另一类方法需制定与边界框标注和分割任务相一致的约束，采用卷积架构，并需要一对多标签分配和非最大抑制(nms)技术。
技术实现思路
1、本专利技术的目的是为了解决现有边界框级实例分割方法训练复杂，且需要一对多标签分配和非最大抑制技术的问题，提出了一种端到端弱监督实
2、本专利技术的技术方案为：第一方面，一种端到端弱监督实例分割方法，所述方法包括以下步骤：
3、s1.获取输入图像，并对输入图像进行特征提取，得到具有相同通道的多级特征图；
4、s2.对具有相同通道的多级特征图进行特征融合，得到图像中各实例的隐藏特征；
5、s3.对各实例的隐藏特征通过类别分支、回归分支和掩码分支进行转化和计算，得到图像中各实例的类别、边界框和掩码查询；
6、s4.根据图像中各实例的类别、边界框和掩码查询，得到图像中各实例的分割结果，实现端到端弱监督实例的分割。
7、本专利技术的有益效果是：
8、1.本专利技术提出了一种基于 transformer架构的新型端到端弱监督实例分割方法，无需使用一对多标签分配和 nms，因此，本专利技术的方法更加直接和高效。
9、2.本专利技术的提供的方法具有更优弱监督实例分割方法的性能，而无需额外的数据或多阶段训练过程。
10、作为优选，所述步骤s1具体包括以下步骤：
11、s11.获取输入图像，通过主干网络对输入图像进行特征提取，得到多级特征图；
12、s12.通过卷积层对多级特征图进行处理，得到具有相同通道的多级特征图，其中，。
13、上述优选方案的有益效果是：
14、通过上述优选方案，对多维特征图进行处理，所有特征图共享相同的维度，使得特征图具有更多信息量，有助于 transformer编码器处理。
15、作为优选，所述步骤s2具体包括以下步骤：
16、s21.利用注意机制对具有相同通道的多级特征图进行展平并连接重建，得到重建的多级特征图；
17、s22.基于多尺度可变形注意方法和注意机制的输入，利用可学习的对象查询，通过交叉注意力机制建立重建的多级特征图与对象查询之间的相关性，得到图像中各实例的隐藏特征；
18、所述隐藏特征的计算公式为：
19、
20、其中，表示编码器的输出，表示解码器的输出。
21、上述优选方案的有益效果是：
22、通过上述优选方案，将不同级别的特征图进行融合，增强了特征图的表示能力。
23、作为优选，所述步骤s4具体包括以下步骤：
24、s41.对多级特征图中的进行处理，得到特征图；
25、s42.将掩码查询作为查询输入，特征图作为键和值输入，输出相关联的掩码查询和特征图；
26、s43.对相关联的掩码查询和特征图进行点积运算，得到掩码；
27、s44.根据图像中各实例的类别、边界框和掩码，得到图像中各实例的分割结果，实现端到端弱监督实例的分割。
28、第二方面，一种端到端弱监督实例分割系统，所述系统包括：
29、主干网络模块，用于接收所述预处理的图像，并对所述预处理的图像进行特征提取，输出具有相同通道的多级特征图；
30、 transformer编码器-解码器模块，用于接收所述具有相同通道的多级特征图，输出图像中各实例的隐藏特征；
31、预测头模块，用于接收并转换计算所述图像中各实例的隐藏特征，并输出图像中各实例的类别、边界框和掩码查询；
32、掩码编码器-解码器模块，用于接收所述图像中各实例的类别、边界框和掩码查询，并输出图像中各实例的分割结果。
33、本专利技术的有益效果是：
34、本专利技术提出的掩码解码器，利用注意力的适应性来建立实例之间的连接，可以通过高效的矩阵乘法运算来实现，能够获得更准确的掩模预测。
35、作为优选，所述 transformer编码器-解码器模块包括可变形编码器和可变形解码器；
36、所述可变形编码器包括六层网络单元，所述六层网络单元均由多尺度可变形注意层和前馈网络层堆叠组成；
37、所述可变形解码器包括六层网络单元，所述六层网络单元均由自注意力层和交叉注意力层堆叠组成。
38、上述优选方案的有益效果是：
39、通过将多尺度可变形注意层和前馈网络层堆叠，并引入可变形编码器，实现了对不同级别的特征图的融合，增强了特征图的表示能力；同时，通过将自注意力层和交叉注意力层引入可变形解码器，提高了 transformer编码器-解码器模块的性能。
40、通过上述优选方案，
41、作为优选，所述预测头模块包括并联连接的类别分支、回归分支和掩码分支；
42、所述类别分支上设置有线性层，其计算得到各实例的类别的公式为：
43、
44、其中，表示各实例的类别，表示线性层的输出结果；
45、所述回归分支上设置有多层感知器，其计算得到边界框的公式为：
46、
47、其中，表示边界框，表示回归分支上多层感知器的输出结果；
48、所述掩码分支上设置有多层感知器，其计算得到掩码查询的公式为：
49、
50、其中，表示掩本文档来自技高网...
【技术保护点】
1.一种端到端弱监督实例分割方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的端到端弱监督实例分割方法，其特征在于，所述步骤S1具体包括以下步骤：
3.根据权利要求2所述的端到端弱监督实例分割方法，其特征在于，所述步骤S2具体包括以下步骤：
4.根据权利要求2所述的端到端弱监督实例分割方法，其特征在于，所述步骤S4具体包括以下步骤：
5.一种端到端弱监督实例分割系统，其特征在于，所述系统包括：
6.根据权利要求5所述的端到端弱监督实例分割系统，其特征在于，所述Transformer编码器-解码器模块包括可变形编码器和可变形解码器；
7.根据权利要求5所述的端到端弱监督实例分割系统，其特征在于，所述预测头模块包括并联连接的类别分支、回归分支和掩码分支；
8.根据权利要求5所述的端到端弱监督实例分割系统，其特征在于，所述掩码编码器-解码器模块包括掩码编码器和共享掩码解码器；
9.根据权利要求5所述的端到端弱监督实例分割系统，其特征在于，所述系统在训练过程中的损失函数计算公式
...【技术特征摘要】
1.一种端到端弱监督实例分割方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的端到端弱监督实例分割方法，其特征在于，所述步骤s1具体包括以下步骤：
3.根据权利要求2所述的端到端弱监督实例分割方法，其特征在于，所述步骤s2具体包括以下步骤：
4.根据权利要求2所述的端到端弱监督实例分割方法，其特征在于，所述步骤s4具体包括以下步骤：
5.一种端到端弱监督实例分割系统，其特征在于，所述系统包括：
6.根据权利要求5所述的端...
【专利技术属性】
技术研发人员：张艳宁，王笑鸣，王鹏，张世周，席庆彪，田雪涛，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。