一种基于标签上下文的显著区域提取方法及系统技术方案

本发明专利技术提供一种基于标签上下文的显著区域提取方法及系统，其中方法包括训练步骤和测试步骤，所述训练步骤包括：训练图像集I，图像集I包含Q幅图像；每个图像都带有标签信息，标签的集合T包含N个标签，训练图像集I对应的基准显著图集S；对于训练集中的图像I

【技术实现步骤摘要】
一种基于标签上下文的显著区域提取方法及系统
本专利技术涉及计算机视觉的
，具体地说是一种基于标签上下文的显著区域提取方法及系统。
技术介绍
注意属于人类的认知过程，是心理学概念，是视觉感知的重要组成部分。通过计算机模拟注意力机制的显著性检测涉及心理学、神经科学、生物视觉和计算机视觉等相关领域，是多学科交叉的研究领域。视觉注意力机制主要分为两大类：自底向上数据驱动的预注意机制和自顶向下任务驱动的后注意机制。相应的，显著性检测方法根据视觉注意力机制的分类可以分为自底向上的检测方法和自顶向下的检测方法。随着研究的发展，研究人员发现单纯的依赖图像本身的特征，如颜色、形状、纹理等，进行显著区域提取是不够的，因此越来越多的研究人员利用图像外部信息辅助显著区域的计算。图像的标签是非常重要的外部线索信息。虽然标签的语义在图像标注领域已经得到了广泛应用，但是，标签信息通常和显著对象提取任务是分开处理的，应用在显著对象提取上的工作并不多。文献[WenWang，CongyanLang，SongheFeng.ContextualizingTagRankingandSaliencyDetectionforSocialImages.AdvancesinMultimediaModelingLectureNotesinComputerScienceVolume7733，2013，pp428-435.]将标签排序任务和显著性检测任务整合在一起，迭代地进行标签排序和显著性检测任务。文献[Zhu，G.，Wang，Q.，Yuan，Y.Tag-saliency：Combiningbottom-upandtop-downinformationforsaliencydetection.ComputerVisionandImageUnderstanding，2014，118(1)：40-49.]通过基于层次的过分割和自动标注技术进行多媒体数据的标注。这两篇文献的共同缺点是均没有考虑到标签之间的上下文关系。
技术实现思路
为了解决上述的技术问题，本专利技术提出的一种基于标签上下文的显著区域提取方法及系统，将标签的语义信息作为重要的图像外部线索引入到图像的显著区域提取工作中，并考虑标签之间的上下文关系。本专利技术的第一目的是提供一种基于标签上下文的显著区域提取方法，包括训练步骤和测试步骤，所述训练步骤包括以下子步骤：：步骤01：训练图像集I，所述图像集I包含Q幅图像；每个所述图像都带有标签信息，标签的集合T包含N个标签，所述训练图像集I对应的基准显著图集S；步骤02：对于训练集中的图像Ij，读取其对应的基准显著图为Sj，对应的标签序列为其中，为标签i在所有训练图片中出现的情况；步骤03：将图像Ij对应的标签序列映射到图像的不同区域，即对图像进行分割，得到的分割区域序列为步骤04：根据图像Ij的基准显著图Sj计算所述分割区域序列中每个区域对应的显著值步骤05：根据所述分割区域序列的显著值序列计算标签的相关性；步骤06：通过对训练集的每幅图像进行步骤02到步骤05的计算，得到影响因子矩阵的集合M＝{M1，M2，...，Mi，...，MN}；步骤07：计算所述矩阵集合M的平均影响因子矩阵优选的是，当所述向量时，表示第i个标签出现；当时，表示第i个标签没有出现。。在上述任一方案中优选的是，所述分割区域的显著值计算方法为等于区域中所有元素对应显著值的平均值，得到区域序列对应的显著值序列在上述任一方案中优选的是，所述步骤06为通过两个标签对应的区域的显著值推理两个标签之间的上下文关系。在上述任一方案中优选的是，所述计算标签的相关性的计算方法以下：1)若出现的标签m和标签n对应的区域不同，且1≤m≤N，1≤n≤N，标签m和标签n之间的影响因子αmn＝0，αnm＝0，认为标签m和标签n之间不相互影响；2)若出现的标签m和标签n对应的区域不同，且1≤m≤N，1≤n≤N，则认为标签m和标签n之间相互影响；当时，表示标签n对标签m有促进作用，标签m对标签n有抑制作用；当时，表示标签n对标签m有抑制作用，标签m对标签n有促进作用，其中，3)若出现的标签m和标签n对应的区域相同，则αmn＝0；4)标签m对标签m之间的影响因子为αmm＝0；5)如果标签m和标签n没有同时出现或同时不出现，则规定αmn＝0。在上述任一方案中优选的是，当所有影响因子计算完成后，得到训练图像j的标签之间的影响因子矩阵Mj，其中，Mj是N×N的方阵。在上述任一方案中优选的是，所述步骤07还包括计算矩阵集合M的平均影响因子矩阵的计算公式为：其中，第j个标签受其他所有标签的影响因子为βji表示平均影响因子矩阵的一个元素。在上述任一方案中优选的是，所述测试阶段包括以下子步骤：步骤11：计算测试图像img的显著图simg；步骤12：将测试图像img对应的标签序列映射到图像区域，得到分割区域集合步骤13：通过平均影响因子矩阵对测试图像的显著值进行调整，得到所述测试图像img的最终的显著图。在上述任一方案中优选的是，所述调整方法为：测试图像中的像素p的显著值为像素p对应的区域标签为第xp个标签，1≤xp≤N，则第xp个标签受其他所有标签的影响因子为其中，1≤i≤N，则像素p修正后的显著值为所有元素调整完毕后对图像的显著值进行归一。本专利技术的第二目的是提供一种基于标签上下文的显著区域提取系统，包括训练模块和测试模块，所述训练模块的训练方法包括以下子步骤：步骤01：训练图像集I，所述图像集I包含Q幅图像；每个所述图像都带有标签信息，标签的集合T包含N个标签，所述训练图像集I对应的基准显著图集S；步骤02：对于训练集中的图像Ij，读取其对应的基准显著图为Sj，对应的标签序列为其中，为标签i在所有训练图片中出现的情况；步骤03：将图像Ij对应的标签序列映射到图像的不同区域，即对图像进行分割，得到的分割区域序列为步骤04：根据图像Ij的基准显著图Sj计算所述分割区域序列中每个区域对应的显著值步骤05：根据所述分割区域序列的显著值序列计算标签的相关性；步骤06：通过对训练集的每幅图像进行步骤02到步骤05的计算，得到影响因子矩阵的集合M＝{M1，M2，...，Mi，...，MN}；步骤07：计算所述矩阵集合M的平均影响因子矩阵优选的是，当所述向量时，表示第i个标签出现；兰时，表示第i个标签没有出现。。在上述任一方案中优选的是，所述分割区域的显著值计算方法为等于区域和所有元素对应显著值的平均值，得到区域序列对应的显著值序列在上述任一方案中优选的是，所述步骤06为通过两个标签对应的区域的显著值推理两个标签之间的上下文关系。在上述任一方案中优选的是，所述计算标签的相关性的计算方法以下：1)若出现的标签m和标签n对应的区域不同，且1≤m≤N，1≤n≤本文档来自技高网...

【技术保护点】
1.一种基于标签上下文的显著区域提取方法，包括训练步骤和测试步骤，其特征在于，所述训练步骤包括以下子步骤：/n步骤01：训练图像集I，所述图像集I包含Q幅图像；每个所述图像都带有标签信息，标签的集合T包含N个标签，所述训练图像集I对应的基准显著图集S；/n步骤02：对于训练集中的图像I

【技术特征摘要】
1.一种基于标签上下文的显著区域提取方法，包括训练步骤和测试步骤，其特征在于，所述训练步骤包括以下子步骤：
步骤01：训练图像集I，所述图像集I包含Q幅图像；每个所述图像都带有标签信息，标签的集合T包含N个标签，所述训练图像集I对应的基准显著图集S；
步骤02：对于训练集中的图像Ij，读取其对应的基准显著图为Sj，对应的标签序列为其中，为标签i在所有训练图片中出现的情况；
步骤03：将图像Ij对应的标签序列映射到图像的不同区域，即对图像进行分割，得到的分割区域序列为
步骤04：根据图像Ij的基准显著图Sj计算所述分割区域序列中每个区域对应的显著值
步骤05：根据所述分割区域序列的显著值序列计算标签的相关性；
步骤06：对训练集的每幅图像进行步骤02到步骤05的计算，得到影响因子矩阵的集合M＝{M1，M2，…，Mi，…，MN}；
步骤07：计算所述矩阵集合M的平均影响因子矩阵


2.如权利要求1所述的基于标签上下文的显著区域提取方法，其特征在于，当所述向量时，表示第i个标签出现；当时，表示第i个标签没有出现。


3.如权利要求2所述的基于标签上下文的显著区域提取方法，其特征在于，所述分割区域的显著值计算方法为等于区域中所有元素对应显著值的平均值，得到区域序列对应的显著值序列


4.如权利要求3所述的基于标签上下文的显著区域提取方法，其特征在于，所述步骤06为通过两个标签对应的区域的显著值推理两个标签之间的上下文关系。


5.如权利要求4所述的基于标签上下文的显著区域提取方法，其特征在于，所述计算标签的相关性的计算方法以下：
1)若出现的标签m和标签n对应的区域不同，且1≤m≤N，1≤n≤N，标签m和标签n之间的影响因子αmn＝0，αnm＝0，认为标签m和标签n之间不相互影响；
2)若出现的标签m和标签n对应的区域不同，且1≤m≤N，1≤n≤N，则认为标签m和标签n之间相互影响；当时，表示标签n对标签m有促进作用，标签m对标签n有抑制作用；当时，表示标签n对标签m有抑制作用，标签m对标签n有促进作用，其中，
3)若出现的标签m和标签n对应的区域相同，则αmn＝0；
4)标签m对标签m之间的影响因子为αmm＝0；
5)如果标签m和标签n没有同...

【专利技术属性】
技术研发人员：梁晔，
申请(专利权)人：北京联合大学，
类型：发明
国别省市：北京;11