一种基于边界增强的显著性目标检测方法及系统技术方案

本发明专利技术公开了一种基于边界增强的显著性目标检测方法及系统，以视觉显著性图像数据为输入，通过卷积神经网络对显著性目标区域进行预测，解决显著性目标检测任务中尺度变化和边界区域像素模糊的问题,通过使用不同分辨率的特征信息相互进行补充，进一步加强单一分辨率特征的表达能力；使用多尺度特征提取，从固定分辨率特征中提取不同尺度的信息，更好的解决目标尺度变化的问题；使用边界提取建模显著性边界，提取边界信息后进一步补充显著性目标特征信息，一定程度上解决边界像素不清晰的问题，得到最终的显著性目标预测,使用一种混合损失函数，从不同层面监督模型训练，以更加均匀高亮的突出显著性目标区域。匀高亮的突出显著性目标区域。匀高亮的突出显著性目标区域。

A salient target detection method and system based on boundary enhancement

【技术实现步骤摘要】
一种基于边界增强的显著性目标检测方法及系统


[0001]本专利技术属于图像处理
，具体涉及一种基于边界增强的显著性目标检测方法及系统。

技术介绍

[0002]显著目标检测的研究已有二十多年的历史。一共有三个非常重要的节点。显著性目标检测第一次发展浪潮源于1998年Itti的一篇文章，这篇开山之作模仿人类的注意力过程，自底向上利用底层特征来构建显著图；第二个节点是显著性检测融入了目标的概念变成了显著性目标的二值分割问题，更加的符合实际应用；卷积神经网络的横空出世激起了显著性目标检测的第三波热潮，卷积神经网络拥有极大的特征提取能力，可以获得更大的感受野，从而更好的检测到图像中的显著区域，也是现在主流的方法。目前，显著性检测领域已经产生了很大的理论和应用价值，但它的另一份价值是作为许多其他视觉任务的辅助，例如作为对象识别，图像编辑和语义分割等任务的预处理。
[0003]尺度变化是SOD任务的主要挑战之一。受下采样操作的限制，CNN很难处理这个问题。不同级别的特征层仅具有处理特定尺度的能力，不同分辨率的特征中蕴含的目标信息量是不同的。一种方式是在自上而下的路径中对每一层特征进行横向输出，上采样为统一分辨率后再进行融合，从而获得包含多尺度信息的输出，不过这种方法仅在每一层中使用单独的分辨率特征，不足以应付各种规模的问题。还有一种简单的策略是集成不同分辨率的特征层信息，但是这种融合方式容易造成信息冗余和噪声干扰。针对尺度变化问题的处理方式仍然有着可以进一步优化的空间。
[0004]特征提取过程中也会不断损失细节信息，像素级别的显著性方法得到的显著性目标的边界区域往往不太令人满意。为了获得精细的显著边界，除了多尺度特征融合的方法外还有很多创新的方法。一些方法使用递归的方式利用低级局部信息来细化高级特征，还有一些方法在显著性检测前使用超像素进行预处理提取边界或者在显著性预测图上使用CRF进行后处理来保持对象边界，这类方法需要额外的处理过程，效率比较低。至于损失函数的选择上，显著性目标检测常用的训练损失函数是二值交叉熵损失，但是二值交叉熵损失在判断边界像素时置信度较低，导致边界非常模糊，同时也无法保证显著区域的一致性。在边界信息提取的网络结构和损失函数的设计上有着许多提升的可能性。

技术实现思路

[0005]本专利技术的目的在于提供一种基于边界增强的显著性目标检测方法及系统，以克服现有技术的不足。
[0006]为达到上述目的，本专利技术采用如下技术方案：
[0007]一种基于边界增强的显著性目标检测方法，包括以下步骤：
[0008]S1，从训练集图像中提取不同分辨率的抽象特征图，对抽象特征图进行多级融合得到多级融合特征图，对多级融合特征图进行处理得到包含多尺度信息的特征图；
[0009]S2，将得到的包含多尺度信息的特征图进行信息转化后进行拼接融合，得到包含边界信息的特征，同时利用每一级转换后的特征得到一个边界检测结果，再进一步拼接融合得到融合的边界检测结果；
[0010]S3，将包含多尺度信息的特征图进行多尺度信息提取后与包含边界信息的特征进行拼接得到显著性目标检测结果；
[0011]S4，利用显著目标检测结果、每一级边界检测结果，融合的边界检测结果以及对应的训练集训练显著性目标检测模型直至满足收敛条件，利用训练完成的显著性目标检测模型进行目标检测；
[0012]进一步的，步骤S1中卷积神经网络采用在ImageNet上训练完成的ResNet
‑
50作为网络的主干，移除最后的池化层和全连接层，得到五个不同尺寸的特征图。
[0013]进一步的，采用在ImageNet上训练完成的ResNet
‑
50作为网络的主干形成的网络结构包括多级特征聚合模块，多尺度信息提取模块和边界信息提取模块。
[0014]进一步的，通过上采样或池化保持尺寸一致，相互之间元素相加进行信息补充，再将信息得到补充后的特征进行聚合，得到五个不同尺寸的多级聚合特征图，可以提高特征的表达能力。
[0015]进一步的，使用不同空洞率的空洞卷积进行采样，通过不同的感受野获得不同尺度的信息，提高网络模型面对尺度变化目标的检测能力。
[0016]进一步的，在每一次的逐级融合特征过程中，在不同尺寸的特征上多次进行多尺度信息提取，进一步融合多尺度信息。
[0017]进一步的，使用逐级融合特征作为输入，对每一级特征进行边界检测，可以提取出目标的边界信息，进一步细化网络的显著性目标检测结果；
[0018]进一步的，训练过程使用损失函数，并在损失反向传播时进行参数调整。
[0019]进一步的，损失函数包括显著性目标检测损失和显著性边界检测损失，其中显著性目标检测损失用于指导显著性目标像素点的正确分类，显著性边界检测损失用于指导显著性目标边界区域像素点的正确分类。
[0020]进一步的，显著性目标检测的损失包括针对单个像素的交叉熵损失BCE和针对整个图像的一致性增强损失CEL，可以使得检测结果更加均匀高亮。
[0021]与现有技术相比，本专利技术具有以下有益的技术效果：
[0022]本专利技术一种基于边界增强的显著性目标检测方法，从训练集图像中提取不同分辨率的抽象特征图，对抽象特征图进行多级融合得到多级融合特征图，对多级融合特征图进行处理得到包含多尺度信息的特征图；以视觉显著性图像数据为输入，通过卷积神经网络对显著性目标区域进行预测，解决显著性目标检测任务中尺度变化和边界区域像素模糊的问题,通过使用不同分辨率的特征信息相互进行补充，进一步加强单一分辨率特征的表达能力；使用多尺度特征提取，从固定分辨率特征中提取不同尺度的信息，更好的解决目标尺度变化的问题；使用边界提取建模显著性边界，提取边界信息后进一步补充显著性目标特征信息，一定程度上解决边界像素不清晰的问题，得到最终的显著性目标预测,使用一种混合损失函数，从不同层面监督模型训练，以更加均匀高亮的突出显著性目标区域。
[0023]进一步的，采用多级特征聚合，使得不同尺度的特征相互聚合，增强固定尺度特征的表达能力。
[0024]进一步的，通过多尺度信息提取，从固定尺度的特征中提取出多尺度信息，增强网络模型对目标尺寸变化大的场景的检测能力。
[0025]进一步的，提取出显著性目标的边界信息后对显著性目标进行补充，进一步提升模型预测的质量。
[0026]进一步的，显著性目标检测的损失由二值交叉熵损失和一致性增强损失组成，尤其是一致性增强损失从整个图像层面进行监督，一方面可以使得损失函数更加侧重于前景，另一方面可以使得损失免受尺度变化的干扰，从而提高显著性目标检测效果。
附图说明
[0027]图1是本专利技术实施例中边界增强的显著性目标检测方法的实现流程图。
[0028]图2是本专利技术实施例中边界增强的显著性目标检测模型的网络结构图。
[0029]图3是本专利技术实施例中多级特征聚合模块内部结构图。
[0030]图4是本专利技术实施例中多尺本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于边界增强的显著性目标检测方法，其特征在于，包括以下步骤：S1，从训练集图像中提取不同分辨率的抽象特征图，对抽象特征图进行多级融合得到多级融合特征图，对多级融合特征图进行处理得到包含多尺度信息的特征图；S2，将得到的包含多尺度信息的特征图进行信息转化后进行拼接融合，得到包含边界信息的特征，同时利用每一级转换后的特征得到一个边界检测结果，再进一步拼接融合得到融合的边界检测结果；S3，将包含多尺度信息的特征图进行多尺度信息提取后与包含边界信息的特征进行拼接得到显著性目标检测结果；S4，利用显著目标检测结果、边界检测结果以及对应的训练集训练显著性目标检测模型直至满足收敛条件，利用训练完成的显著性目标检测模型进行目标检测。2.根据权利要求1所述的一种基于边界增强的显著性目标检测方法，其特征在于，采用在ImageNet上训练完成的ResNet
‑
50作为网络的主干从训练集图像中提取不同分辨率的抽象特征图，移除最后的池化层和全连接层，得到五个不同尺寸的多级融合特征图。3.根据权利要求1所述的一种基于边界增强的显著性目标检测方法，其特征在于，对得到的不同尺度的多级融合特征图自顶向下反向逐级融合，每次融合前先对当前的多级融合特征图进行一次多尺度信息提取，再进行上采样和上一层多级融合特征图进行融合，得到包含多尺度信息的特征图。4.根据权利要求1所述的一种基于边界增强的显著性目标检测方法，其特征在于，步骤S2中，多级特征的融合是将特征层和其相邻的特征层通过上采样或池化保持尺寸一致，相互之间元素相加进行信息补充，再将信息得到补充后的特征进行聚合，得到五个不同尺寸的多级聚合特征图。5.根据权利要求1所述的一种基于边界增强的显著性目标检测方法，其特征在于，使用不同空洞率的空洞卷积进行采样，通过不同的感受野获得不同尺...

【专利技术属性】
技术研发人员：田智强，余凌昊，陈张，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：