一种基于信息互补的双流解码器的图像显著性检测方法技术

一种基于信息互补的双流解码器的图像显著性检测方法，包括：步骤S1、将标签图像分解得到对应的主体标签图和轮廓细节标签图；步骤S2、对训练数据集图像做随机裁剪、随机旋转、归一化、灰度化处理以增强样本的多样性；步骤S3、输入图像，使用VGG16框架预先处理，并使用一组不同维度的编码块，分别收集不同大小的图像特征；步骤S4、对通过编码器得到的五层输出特征图输入Embedding层，进行统一维度；步骤S5、将目标主体图编码后的特征和轮廓细节图编码后的特征，分别传入显著性支路和轮廓图支路，同时在各自支路上分别用获得的主体特征图和轮廓特征图进行监督；步骤S6、将两个主支路上所得到的目标主体特征和轮廓细节特征进行相加融合后，得到最终的预测图像。得到最终的预测图像。得到最终的预测图像。

【技术实现步骤摘要】
一种基于信息互补的双流解码器的图像显著性检测方法


[0001]本专利技术属于图像处理
，具体涉及一种基于信息互补的双流解码器的图像显著性检测方法。

技术介绍

[0002]传统显著性检测是通过获取目标的特定特征。这种获取方法明确了对象种类的特定性，但也无法避免的陷入了算法的局限性。显著性检测是对图像在视觉感受上最与众不同的目标或区域进行分割的任务，换而言之也可以说，这些研究希望能够识别出图像的主体。显著性检测与语义分割或实例分割等其他细节技术不同，它始终侧重于几个主要区域。因此它经常作为许多研究的第一步，如目标跟踪，目标识别，动作分类等。
[0003]显著性检测的主要难点在于区分图像中的显著性目标和目标边缘。受到显著性目标与目标轮廓之间相关性的启发。与单一的用边缘信息或者整体图进度学习的方法相比，采用了一种信息互补的方法，得到目标的目标主体图和轮廓细节图，使得两者共同监督学习训练模型，降低显著性目标的边缘像素分布极不平衡所带来的影响，提高效果。

技术实现思路

[0004]本专利技术要克服现有技术的上述缺点，提供了一种基于信息互补的双流解码器的显著性检测方法。
[0005]本专利技术结合了采用VGG模型，其中包含的参数量明显小于其他基于VGG的方法；以及本方法设计的特征融合模块和损失函数的优点，实现了比较好的显著性目标检测效果。
[0006]为实现上述目的，本专利技术所采取的技术方案为：
[0007]一种基于信息互补的双流解码器的图像显著性检测方法，包括以下步骤：r/>[0008]步骤S1、通过扩张和侵蚀突出并计算标签图像之间的差值，来生成轮廓细节图，并采用种子填充算法寻找封闭轮廓内的区域，从而获得目标主体图；
[0009]步骤S2、对训练数据集图像做随机裁剪、随机旋转、归一化、灰度化处理以增强样本的多样性；
[0010]步骤S3、输入一个尺度为H
×
W的图像，使用VGG16框架预先处理，并使用一组不同维度的编码块，分别收集不同大小的图像特征；
[0011]步骤S4、对通过编码器得到的五层输出特征图输入Embedding 层，进行统一维度；
[0012]步骤S5、将目标主体图编码后的特征和轮廓细节图编码后的特征，分别传入显著性支路和轮廓图支路，同时在各自支路上分别用获得的主体特征图和轮廓特征图进行监督，一方面将二者的信息进行交互融合以达到信息互补，另一方面将二者分别传入各自的图像解码器以丰富特征；
[0013]步骤S6、将两个主支路上所得到的目标主体特征和轮廓细节特征进行相加融合后，再通过上采样操作和最后的连接操作，得到最终的预测图像。
[0014]本专利技术提供一种基于信息互补的双流解码器的图像显著性检测方法，利用图像真
实标签图，得到目标主体图和轮廓细节图，主体图中主要包含的是图像的主题信息，而轮廓图中主要包含的是图像的边缘细节信息。利用主体图和轮廓图共同监督模型的训练，并再特征融合模块中，将不断优化的主体图和轮廓图进行相加融合，由于两种图像中包含相应的互补信息，将二者的特征进行迭代训练，得到更好的显著目标预测效果。
[0015]本专利技术的优点是：对于显著性目标和目标轮廓之间相关性的重视，将真实图像分割为两个分别侧重于不同区域的互补信息。显著性目标图像和目标轮廓图共同监督迭代训练模型，并将两种特征进行相加融合，使得显著性目标的主体部分和轮廓边缘部分的更多信息得到利用，从而得到更好的预测效果。
附图说明
[0016][0017]图1是本专利技术方法的流程图。
[0018]图2对图1流程图中解码器的特征交互模块的原理图。
具体实施方式
[0019]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0020]除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本申请。
[0021]下面结合附图，来说明本专利技术的技术方案。
[0022]一种基于信息互补的双流解码器的图像显著性检测方法，包括以下步骤：
[0023]步骤S1、通过扩张和侵蚀突出并计算标签图像之间的差值，来生成轮廓细节图，并采用种子填充算法寻找封闭轮廓内的区域，从而获得目标主体图；
[0024]步骤S2、对训练数据集图像做随机裁剪、随机旋转、归一化、灰度化处理以增强样本的多样性；
[0025]步骤S3、输入一个尺度为H
×
W的图像，使用VGG16框架预先处理，并使用一组不同维度的编码块，分别收集不同大小的图像特征；
[0026]步骤S4、对通过编码器得到的五层输出特征图输入Embedding 层，进行统一维度；
[0027]步骤S5、将目标主体图编码后的特征和轮廓细节图编码后的特征，分别传入显著性支路和轮廓支路，同时在各自支路上分别用获得的主体特征图和轮廓特征图进行监督，一方面将二者的信息进行交互融合以达到信息互补，另一方面将二者分别传入各自的图像解码器以丰富特征；
[0028]步骤S6、将两个主支路上所得到的目标主体特征和轮廓细节特征进行相加融合后，再通过上采样操作和最后的连接操作，得到最终的预测图像。
[0029]步骤S1所述利用扩张和侵蚀突出并计算标签图像之间的差值，来生成轮廓细节图，并采用种子填充算法寻找封闭轮廓内的区域，从而获得目标主体图，具体包括：
[0030]S11.输入一个标签图像，显著性目标区域为白色部分，背景为黑色部分，尺寸无要求，令背景部分像素值为0，前景部分像素值为1；
[0031]S12.利用扩张和侵蚀突出并计算标签图像之间的差值，来生成轮廓细节图，并采用种子填充算法寻找封闭轮廓内的区域，从而获得目标主体图。计算公式如下：
[0032][0033][0034]其中，X和Y分别表示侵蚀和扩张操作，用B(x)代表结构元素，对工作空间E中的每一点x进行相应的操作。
[0035]步骤S3具体包括：使用VGG16模型训练得到的预训练模型，加载参数，输入数据，除全连接层外，得到5层特征输出，并使用一组不同维度的编码块，分别收集不同大小的图像特征，分别记为 F＝{F
i
|i＝1,2,3,4,5}；
[0036]为了减少特征通道和计算量，每个特征图的顶部添加了一个通道池化层，以使信息通过不同的通道进行传递，其具体定义为：
[0037]Emebdding
i
＝cp(E
i
)
ꢀꢀꢀꢀꢀꢀ
(3)
[0038][0039]其中，j和K是整数，i∈[1,5]表示每个特征图的索引值，p(X)表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于信息互补的双流解码器的图像显著性检测方法，包括以下步骤：步骤S1、通过扩张和侵蚀突出并计算标签图像之间的差值，来生成轮廓细节图，并采用种子填充算法寻找封闭轮廓内的区域，从而获得目标主体图；步骤S2、对训练数据集图像做随机裁剪、随机旋转、归一化、灰度化处理以增强样本的多样性；步骤S3、输入一个尺度为H
×
W的图像，使用VGG16框架预先处理，并使用一组不同维度的编码块，分别收集不同大小的图像特征；步骤S4、对通过编码器得到的五层输出特征图输入Embedding层，进行统一维度；步骤S5、将目标主体图编码后的特征和轮廓细节图编码后的特征，分别传入显著性支路和轮廓支路，同时在各自支路上分别用获得的主体特征图和轮廓特征图进行监督，一方面将二者的信息进行交互融合以达到信息互补，另一方面将二者分别传入各自的图像解码器以丰富特征；步骤S6、将两个主支路上所得到的目标主体特征和轮廓细节特征进行相加融合后，再通过上采样操作和最后的连接操作，得到最终的预测图像。2.如权利要求1所述的一种基于信息互补的双流解码器的图像显著性检测方法，其特征在于：步骤S1所述利用扩张和侵蚀突出并计算标签图像之间的差值，来生成轮廓细节图，并采用种子填充算法寻找封闭轮廓内的区域，从而获得目标主体图，具体包括：S11.输入一个标签图像，显著性目标区域为白色部分，背景为黑色部分，尺寸无要求，令背景部分像素值为0，前景部分像素值为1；S12.利用扩张和侵蚀突出并计算标签图像之间的差值，来生成轮廓细节图，并采用种子填充算法寻找封闭轮廓内的区域，从而获得目标主体图，计算公式如下：子填充算法寻找封闭轮廓内的区域，从而获得目标主体图，计算公式如下：其中，X和Y分别表示侵蚀和扩张操作，用B(x)代表结构元素，对工作空间E中的每一点x进行相应的操作。3.如权利要求1所述的一种基于信息互补的双流解码器的图像显著性检测方法，其特征在于：步骤S3具体包括：使用VGG16模型训练得到的预训练模型，加载参数，输入数据，除全连接层外，得到5层特征输出，并使用一组不同维度的编码块，分别收集不同大小的图像特征，分别记为F＝{F
i
|i＝1,2,3,4,5}；为了减少特征通道和计算量，每个特征图的顶部添加了一个通道池化层，以使信息通过不同的通道进行传递，其具体定义为：Emebdding
i
＝cp(E
i
)
ꢀꢀꢀꢀꢀꢀ
(3)其中，j和K是整数，i∈[1,5]表示每个特征图的索引值，p(X)表示通道池化操作，就表示特征图X的第通道，同时该池化层收集每个通道的最大值，其中
N和M分别表示输入通道和输出通道。4.如权利要求1所述的一种基于信息互补的双流解码器的图像显著性检测方法，其特征在于：步骤S5具体包括：每个特征融合模块包括两条支路，分别是主体支路和轮廓支路，每条支路上还会附加对应的新支路并分别用主体图与轮廓图进行监督，然后再将得到的特征进行叠...

【专利技术属性】
技术研发人员：林怡炜，许金山，陈镇钦，汪梦婷，楼柯辰，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：