一种社群图像的显著区域提取方法及系统技术方案

本发明专利技术提供一种社群图像的显著区域提取方法及系统，其中方法包括准备训练图像集，所述测试过程包括以下步骤：对所述训练图像集中的图像进行基于外观的显著性计算；对所述训练图像集中的每幅图像带有的对象标签进行对应的对象标签的语义特征计算；求解显著性特征的融合系数；提取测试图的显著性特征，并计算显著图。本发明专利技术提出的社群图像的显著区域提取方法及系统，在训练阶段，计算基于图像外观的显著性特征，与计算得到的对象标签语义特征进行融合，求解融合参数。在测试阶段，通过训练得到的融合参数对图像外观的显著性特征和标签语义特征进行融合，得到最终的显著图。得到最终的显著图。得到最终的显著图。

【技术实现步骤摘要】
一种社群图像的显著区域提取方法及系统


[0001]本专利技术涉及图像处理的
，具体地说是一种社群图像的显著区域提取方法及系统。

技术介绍

[0002]注意属于人类的认知过程，是心理学概念，是视觉感知的重要组成部分。通过计算机模拟注意力机制的显著性检测涉及心理学、神经科学、生物视觉和计算机视觉等相关领域，是多学科交叉的研究领域。传统的显著性检测方法通常会使用多种显著性线索或先验信息，例如局部或全局对比度，边界先验。这些方法由于使用低级的人工设计特征和模型，不能识别和理解图像中的语义对象概念。近来，深度卷积神经网络已经在视觉模式识别方法取得了令人瞩目的成绩，已经越来越多的应用于显著区域的检测。只要提供足够的训练数据，深度卷积神经网络能够较准确的识别复杂图像中的显著对象，性能超过大多数的传统的基于人工设计特征的方法，取得了很好的检测效果。
[0003]随着网络和社交平台的迅猛发展，涌现了大量的社交图片，而且带有标签信息。标签的语义虽然在图像标注领域已经得到了广泛应用，但是，应用在显著对象提取上的工作并不多。文献[Wen Wang,Congyan Lang,Songhe Feng.Contextualizing Tag Ranking and Saliency Detection for Social Images.Advances in Multimedia Modeling Lecture Notes in Computer Science Volume 7733,2013,pp 428
‑
>435.]将标签排序任务和显著性检测任务整合在一起，迭代地进行标签排序和显著性检测任务。文献[Zhu,G.,Wang,Q.,Yuan,Y.Tag
‑
saliency:Combining bottom
‑
up and top
‑
down information for saliency detection.Computer Vision and Image Understanding,2014,118(1):40
‑
49.]提出Tag
‑
Saliency模型，通过基于层次的过分割和自动标注技术进行多媒体数据的标注。这两篇文献的共同缺点是显著性标注的效果依赖于区域标注，标签信息都是和显著区域的提取任务分开处理的。
[0004]2021年的《智能系统学报》公开了梁晔和于剑的题目为《面向社群图像的显著区域检测方法》，关注社群图像的显著区域检测问题，提出基于深度特征的显著区域检测方法。针对社群图像带有标签的特点，在系统框架中，本文采取两条提取线，基于CNN特征的显著性计算和基于标签的语义计算，二者的结果进行融合。最后，通过全连接的条件随机场模型对融合的显著图进行空间一致性优化。该方法的缺点是没有将图像外观特征和标签语义特征处理为一个整体特征，在训练时较为繁琐。

技术实现思路

[0005]为了解决上述的技术问题，本专利技术提出的社群图像的显著区域提取方法及系统，在训练阶段，对训练图像提取外观特征，计算基于图像外观的显著性特征；通过图像带有的对象标签对应的对象检测子进行对象检测，计算对象标签语义特征；对象标签语义特征可以看作一种先验特征，与基于外观的显著性特征进行融合，对显著性特征的融合问题进行
建模，求解融合参数。在测试阶段，对测试图像提取外观特征，计算基于图像外观的显著性特征；通过图像带有的对象标签对应的对象检测子进行对象检测，计算对象标签语义特征；最后通过训练得到的融合参数对图像外观的显著性特征和标签语义特征进行融合，得到最终的显著图。
[0006]本专利技术的第一目的是提供一种社群图像的显著区域提取方法，包括准备训练图像集，还包括以下步骤：
[0007]步骤1：对所述训练图像集中的图像进行基于外观的显著性计算；
[0008]步骤2：对所述训练图像集中的每幅图像带有的对象标签进行对应的对象标签的语义特征计算；
[0009]步骤3：求解显著性特征的融合系数；
[0010]步骤4：提取测试图的显著性特征，并计算显著图。
[0011]优选的是，所述准备训练图像集还包括准备与所述训练图像及相对应的显著区域的标准二值标注和/或标签的集合。
[0012]在上述任一方案中优选的是，所述步骤1包括提取图像的外观特征并计算对应的显著性特征，得到K维外观显著性特征。
[0013]在上述任一方案中优选的是，在第k维显著性特征通道上的显著性计算方法为：
[0014][0015]其中，D(v
ik
,v
jk
)代表像素x
i
和像素x
j
在第k维特征通道上的差异，w
ij
代表空间距离权重，1≤k≤K，i表示第i个像素，j为和第i个像素不同的第j个像素。
[0016]在上述任一方案中优选的是，所述步骤2包括以下子步骤：
[0017]步骤21：定义图像中像素x的对象标签语义特征p
x
初始化为{0，0，
……
，0}，M为所述训练图像集中包含的对象标签个数，，q表示第q个对象标签；
[0018]步骤22：逐一确认图像是否含有M个对象标签；
[0019]步骤23：计算像素x的对象标签语义特征p
x
。
[0020]在上述任一方案中优选的是，所述步骤22包括：
[0021]1)当第m个对象标签存在时，1≤m≤M，则检测对象标签m对应的N个建议矩形框，每个矩形框内包含对象的可能性为f
mn
，则被矩形框覆盖的每个像素的对象m的语义特征为f
mn
，1≤n≤N，如果像素没有被第m个对象标签的任何矩形框覆盖，则像素的第m个对象标签的语义特征为0；
[0022]2)当图像的第m个对象标签不存在时，则f
mn
＝0，1≤n≤N。
[0023]在上述任一方案中优选的是，所述对象标签语义特征p
x
的计算公式为：
[0024][0025]其中，为标记变量，用于表示第n个建议矩形框是否被检测到，如果被检测到，
则否则
[0026]在上述任一方案中优选的是，基于所述步骤2和所述步骤3的计算，共得到K+M维显著性特征，其中包括K维基于外观的显著性特征和M维标签语义特征。
[0027]在上述任一方案中优选的是，所述步骤3包括对所述K+M维显著性特征进行融合，所述融合系数通过下面公式进行求解，
[0028][0029]当a
x
＝0表示像素x标注为非显著，F
t
(a
x
)＝S
′
(x)；
[0030]当a
x
＝1表示像素x标注为显著，F
t
(a
x
)＝1
‑
S
′...

【技术保护点】

【技术特征摘要】
1.一种社群图像的显著区域提取方法，包括准备训练图像集，其特征在于，还包括以下步骤：步骤1：对所述训练图像集中的图像进行基于外观的显著性计算；步骤2：对所述训练图像集中的每幅图像带有的对象标签进行对应的对象标签的语义特征计算；步骤3：求解显著性特征的融合系数；步骤4：提取测试图的显著性特征，并计算显著图。2.如权利要求1所述的社群图像的显著区域提取方法，其特征在于，所述步骤1包括提取图像的外观特征并计算对应的显著性特征，得到K维外观显著性特征。3.如权利要求2所述的社群图像的显著区域提取方法，其特征在于，在第k维显著性特征通道上的显著性计算方法为：其中，D(v
ik
,v
jk
)代表像素x
i
和像素x
j
在第k维特征通道上的差异，w
ij
代表空间距离权重，1≤k≤K，i表示第i个像素，j为和第i个像素不同的第j个像素。4.如权利要求3所述的社群图像的显著区域提取方法，其特征在于，所述步骤2包括以下子步骤：步骤21：定义图像中像素x的对象标签语义特征p
x
初始化为{0，0，
……
，0}，1≤q≤M，M为所述训练图像集中包含的对象标签个数，q表示第q个对象标签；步骤22：逐一确认图像是否含有M个对象标签；步骤23：计算像素x的对象标签语义特征p
x
。5.如权利要求4所述的社群图像的显著区域提取方法，其特征在于，所述步骤22包括：1)当第m个对象标签存在时，1≤m≤M，则检测对象标签m对应的N个建议矩形框，每个矩形框内包含对象的可能性为f
mn
，则被矩形框覆盖的每个像素的对象m的语义特征为f
mn
，1≤n≤N，如果像素没有被第m个对象标签的任何矩形框覆盖，则像素的第m个对象标签的语义特征为0；2)当图像的第m个对象标签不存在时，则f
mn
＝0，1≤n≤N。6.如权利要求5所述的社群图像的显...

【专利技术属性】
技术研发人员：梁晔，马楠，姬厚国，
申请(专利权)人：北京联合大学，
类型：发明
国别省市：