【技术实现步骤摘要】
本专利技术属于图像处理领域，尤其涉及显著性目标检测方法，可应用于视频目标分割、自动驾驶、和语义分割等领域。
技术介绍
1、现实世界中充斥着大量的信息，人们在利用视觉感知外界的时候通常会具有一定的选择性，将关注点放在比较重要的目标上而忽略大量无关紧要的信息，这种目标称为显著性目标。显著性目标检测主要工作是通过建立一种视觉注意模型来模拟人类视觉系统，辨别出一副自然图像中人们第一眼注意到的显著区域，识别出有用信息并将显著区域分割出来。传统的显著性目标检测方法一般利用轮廓、颜色、纹理和形状特征等底层语义信息自上而下的进行数据驱动式检测，此类方法对于含有单一目标或是高对比度的自然图像识别能力较好，而在低对比度、复杂背景、小目标场景和大目标场景等，传统方法通常并不适用。
2、近年来，显著性目标检测研究取得一定的成果。相关方法均基于深度学习，可进一步划分为基于额外数据辅助优化方法、弱监督器学习方法和优化上下文信息提取方法。基于额外数据辅助优化方法主要是基于边缘检测辅助的方法。wu等提出同时利用显著性目标检测、前景轮廓检测和边缘检测三项任务来进行网络设计，随后在2019年liu等提出的poolnet联合边缘检测捕捉边缘信息增强显著性目标的细节，luo等人提出基于u-net的架构，该架构包含iou边缘损失，利用边缘线索检测显著目标。这类方法通过引入边缘信息丰富显著图边缘区域，但没有考虑到显著性区域和边缘细节的互补性。弱监督器学习方法主要考虑像素级标注数据的高成本。zeng等设计了一种弱监督源学习构架，该构架集成了多个弱监督线索来检测显
3、综上可知，现有的显著性目标检测方法在实际使用上存在局限性，所以有必要加以改进。
技术实现思路
1、本专利技术提出一种基于混合特征叠加交叉注意力的目标检测方法。该方法引入交叉注意模块（cca）有效地从长距离依赖关系中获取周围像素的有用上下文信息。该模型充分考虑显著性检测和边缘信息之间的互补性，通过双向信息细化模块（birm）实现信息融合，同时细化了显著性目标检测和边缘检测的多级特征，最后用u型网络输出优化结果。
2、本专利技术所解决的技术问题可采用如下的技术解决方案来实现：
3、本专利技术提供了一种基于混合特征叠加交叉注意力的目标检测方法，包括以下步骤：
4、a、输入原始图像的rgb图、掩码标记gt图，并自动裁剪输入图像的分辨率；
5、b、通过残差神经网络（resnet），计算rgb图的不同层级特征；
6、c、采用位置注意力机制，获得融合注意力权重的特征图；
7、具体的，通过计算不同层级特征图纵向及横向特征权值，每一层级得到三组不同的特征图输出，再将特征图进行通道上的拼接，最后连接一层卷积层，得到带有特征权值的特征图。
8、d、执行多任务策略，利用两个卷积层将特征图进行独立特征提取，用于显著目标检测及边缘检测；
9、e、执行双向细化策略，步骤d中两种检测任务不同层级输出的特征图进行多次迭代细化；
10、具体的，特征图在四个不同层级生成，利用上层特征图对下层级特征图进行叠加，即对上层级特征图进行下采样，随后通过一层卷积层输出与该层级原特征图通道数一致的特征图。
11、f、根据上采样和级联不同层级特征得到的特征图，执行u型网络分割策略，得到预测的显著图和边缘图；
12、g、采用二值交叉熵损失，利用真值图和预测图进行损失函数的计算，并进行反向传播修正模型参数；
13、具体的，损失函数包括显著图损失函数，边缘检测损失函数，显著图和边缘检测加权损失函数，对三种不同损失函数进行优化计算。
14、h、反复执行步骤b至步骤g，修正模型直至设定的轮次结束，输出最终的模型。
15、本专利技术旨在提出一种基于混合特征叠加交叉注意力的显著性目标检测方法，构建残差神经网络提取语义信息丰富的多层级特征图，采取交叉注意力机制得到融合特征权值的特征图；利用边缘特征和显著图分割特征之间的相互逻辑关系和互补性，考虑不同特征层级之间的影响，通过级联叠加四个双向信息细化模块，实现不同特征的交叉融合；利用显著性分割图限制并生成更高质量的边缘特征，同时融合高质量边缘特征和显著性特征图以生成更准确、完整的分割图，执行反向传播策略，根据损失函数修正模型参数，通过多次训练迭代得到最终输出模型。其特点和优点为：
16、针对已有的显著性目标检测方法对于显著性目标识别效果不佳，提出一种基于混合特征叠加交叉注意力的显著性目标检测方法。
17、优化边缘细节信息丢失问题。主流的显著性目标检测模型能分割出显著区域的主体模块，但靠近边缘的细节部分处理的不是很好，为此本文引入双向信息细化模块，旨在利用边缘信息和显著区域的互补性，改进边缘细节信息丢失问题。
18、优化预测目标部分缺失，即分割完整性问题。现有分割模型都大都使用卷积神经网络进行特征提取，而在卷积的过程中存在部分信息丢失，为改善此类问题，本文在双向信息细化模块中引入残差学习思想，旨在减少因卷积丢失的信息。
19、优化低对比度场景下模型识别能力不足。在低对比度场景下，模型通常会将前景和部分背景识别为同一目标，这是因为现有模型对全局信息的感知能力较弱。本文引入交叉注意力机制，利用该注意力模型从所有像素中获取密集的上下文信息，融合注意力权重，输出更具有辨别力的特征图。
20、本专利技术提供的显著性目标检测方法，可用于进行复杂场景下的显著性目标分割，并得到较好的分割结果。
本文档来自技高网...【技术保护点】
1.一种基于混合特征叠加交叉注意力的显著性目标检测方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的方法，其特征在于：步骤B所述的特征提取方法基于ResNet-50，提取RGB图的多层次特征。
3.根据权利要求1所述的方法，其特征在于：步骤C所述的交叉注意力模块用于优化多层次特征图，通过在特征图每个像素点中加入同行同列像素点集的信息，获取特征图中远距离像素间的上下文依赖关系，循环两次交叉注意力模块捕获全图中所有像素点的信息，将不同的层级特征图分别输入交叉注意力模块中，生成基于显著性检测和分割任务的具有丰富语义信息的特征图。
4.根据权利要求1所述的方法，其特征在于：步骤D所述的双向细化策略，分别对不同层级不同任务的特征进行迭代细化，首先利用显著性信息和边缘信息之间的互补性，针对显著性检测任务特征图，利用边缘特征信息保持边缘细节信息，针对边缘检测任务特征图，利用显著性信息获得定位信息，其次将某一层级的边缘特征（显著性特征）与同层级以及更高层级的显著性特征（边缘特征）融合，最大限度利用低层级特征中的无类别边缘信息以及高层级的语义信息
5.根据权利要求1所述的方法，其特征在于：步骤E所述的U型预测网络将不同任务的特征图进行分割预测，得到预测的边缘图和显著性图，利用U-Net网络中的解码模块从高层到低层的上采样和级联合并（concat）操作产生特征，经过卷积和上采样操作以及一次sigmoid函数计算，得到预测的显著性分割图和边缘图。
6.根据权利要求1所述的方法，其特征在于：网络优化模型通过最小化损失函数找到最佳参数，该损失函数包括：显著图损失函数、边缘检测损失函数、显著图和边缘检测加权损失函数，三项损失函数都基于交叉熵损失函数。
...【技术特征摘要】
1.一种基于混合特征叠加交叉注意力的显著性目标检测方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的方法，其特征在于：步骤b所述的特征提取方法基于resnet-50，提取rgb图的多层次特征。
3.根据权利要求1所述的方法，其特征在于：步骤c所述的交叉注意力模块用于优化多层次特征图，通过在特征图每个像素点中加入同行同列像素点集的信息，获取特征图中远距离像素间的上下文依赖关系，循环两次交叉注意力模块捕获全图中所有像素点的信息，将不同的层级特征图分别输入交叉注意力模块中，生成基于显著性检测和分割任务的具有丰富语义信息的特征图。
4.根据权利要求1所述的方法，其特征在于：步骤d所述的双向细化策略，分别对不同层级不同任务的特征进行迭代细化，首先利用显著性信息和边缘信息之间的互补性，针对显著性检测任务特征图，利...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。