一种图像标签的自动标注与排序方法技术

本发明专利技术提供一种图像标签的自动标注与排序方法，包括以下步骤：构建基准图像集；对无标签的测试图像进行标注；对测试图像的标签进行排序。本发明专利技术提出了一种图像标签的自动标注和排序方法，一方面，通过基准图像集得到标签和视觉词的对应关系，实现测试图像标签的自动标注；另一方面，图像的对象性检测结果具有很强的语义性，将对象性检测技术用于标签排序，排序后的标签带有的语义信息和图像反映出的语义信息一致性更强，更准确的标签信息能够更好的用于图像检索等其他视觉任务，同时也能够为研究提供海量的可靠训练样本。研究提供海量的可靠训练样本。研究提供海量的可靠训练样本。

【技术实现步骤摘要】
一种图像标签的自动标注与排序方法


[0001]本专利技术涉及图像处理的
，特别是一种图像标签的自动标注与排序方法。

技术介绍

[0002]随着Web2.0技术的快速发展，社交网站变得越来越流行，其中最具有代表性的社交媒体网站Facebook，Google的社交视频分享网站Youtube以及Yahoo的社交图像分享网站Flickr。社交媒体的一个重要特点是用户不仅可以创建自己的多媒体内容，而且可以使用关键字来描述媒体的内容，该关键字被称为标签(Tag)。这些标签极大地方便了用户组织和索引媒体内容，为大规模信息检索系统提供了有效途径。这些社群标注信息可以直接作为互联网图像索引，然而仍然存在大量的图像并没有标注信息。众所周知，人工标注会耗费大量的人力物力，成本非常昂贵。由于受用户知识背景和主观感情的影响，导致用户对图像内容的描述是模糊的、杂乱无序的，标签质量远远不能满足作为可靠的图像索引关键字的需要。为了给研究提供海量的可靠训练样本，自动图像标签的标注与排序技术一直是研究的热点。对象性检测技术是检测一幅图像中的潜在对象的位置，以矩形框的方式标出，并给出对象存在的可能性，带有很强的语义性。虽然目前有相关文献将对象性检测用于图像显著性分析、目标检测、图像检索等视觉任务，但缺少将对象性用于图像标签排序任务。
[0003]2015年3月17日的道客巴巴上公开了一篇题目为《海量图像标签自动排序算法的研究与实现》的北京交通大学硕士学位论文，该论文提出近年来,随着电子摄影产品的迅速普及,数字图像以惊人的速度涌现在网络上。如何从海量的图像中检索出所需图像成为一个亟待解决的问题。合理的图像标签顺序对图像检索和分析有着至关重要的作用,如何对杂乱无序的图像标签进行合理有效的重排序成为当前多媒体领域中一个研究热点。该论文着重研究如何建立有效的学习模型来解决图像标签的自动排序问题。现有的图像标签排序算法大致分为两类：基于相关性(Relevance
‑
based)的标签排序算法和基于视觉显著性(Saliency
‑
based)的标签排序算法。通过分析现有图像标签排序算法的优缺点,该论文提出了一种自适应的图像标签排序算法。该算法同时考虑了图像标签的语义相关性和标签的视觉显著性特征。具体地,首先对图像进行显著区域检测并生成相应的显著度图；然后利用显著度图信息对图像进行显著性分析；最后进行自适应的标签排序。若图像中存在显著区域,其标签按照所对应区域的视觉显著性高低进行重排序；反之,若图像中不存在显著区域,则标签按照与图像的语义相关度进行重排序。在上述标签排序算法中,为了判别图像是否存在显著区域,该论文首次提出了一种基于灰度分布直方图统计的显著性分析方法。该方法充分利用图像的显著度图信息,并借助LIBSVM机器学习技术对图像是否存在显著区域进行自动分析。为了验证基于显著性分析的自适应图像标签排序算法的可行性,该论文在COREL图像库和MSRC图像库上进行了实验,并同已有的方法进行了比较。实验结果表明,这种自适应的标签排序算法是有效可行的。该方法解决的问题是标签的自动排序问题，但是前提是图像已经具有了标签，所以这种方法的缺点是无法实现对无标签的图像标签进行自动标注和排序。此外，论文的方法在标签排序的过程中通过多示例方法将标签对应到图像
区域，然后根据区域的显著性进行排序，这种方法的缺点是通过多示例方法将标签对应到图像区域准确度不高，且效率较低。
[0004]2015年6月30日的道客巴巴上公开了一篇题目为《海量图像标签自动排序算法的研究与实现》的山东大学博士学位论文，该论文展开了一系列研究工作来提高当前图像检索系统的性能，详细讨论了图像标注、标签相关度学习、标签推荐和图像重排序这四个重要问题。论文中解决标签和视觉词的对应关系时，作者认为：利用二元视觉语言模型来估计包含标签t的所有图像中各视觉词出现的条件概率分布，这个分布描述了各视觉词在空间上的相互依赖关系，可以反映标签t所代表的视觉概念。然而，通过所有视觉词的相互依赖关系来反映标签t的视觉概念的方法科学性不足，所有视觉词的依赖关系很难科学的反映标签的视觉性，因为此方法并没有将标签和视觉词真正的对应起来。

技术实现思路

[0005]为了解决上述的技术问题，本专利技术提出了一种图像标签的自动标注与排序方法，一方面，通过实现测试图像标签的自动标注，以便实现为研究提供海量的可靠训练样本；另一方面，图像的对象性检测结果具有很强的语义性，将对象性检测技术用于标签排序，排序后的标签带有的语义信息和图像反映出的语义信息一致性更强，更准确的标签信息能够更好的用于图像检索等其他视觉任务，同时也能够为研究提供海量的可靠训练样本。
[0006]本专利技术提供一种图像标签的自动标注与排序方法，包括以下步骤：
[0007]步骤1：构建基准图像集，包括以下子步骤：
[0008]步骤11：构建正确标签标注与排序的图像集；
[0009]步骤12：基于所述正确标签标注与排序的图像集建立视觉词和标签的对应关系；
[0010]步骤2：对无标签的测试图像进行标注，包括以下子步骤：
[0011]步骤21：测试图像的超像素分割；
[0012]步骤22：对超像素进行特征提取；
[0013]步骤23：计算超像素区域和标签对应关系；
[0014]步骤24：对测试图像x的所有超像素对应的标签进行合并；
[0015]步骤3：对测试图像的标签进行排序，包括以下子步骤：
[0016]步骤31：进行像素的对象性计算；
[0017]步骤32：进行超像素区域的对象性计算；
[0018]步骤33：将测试图像x对应的标签集合映射到图像x的不同区域，得到的标签分割区域序列为
[0019]步骤34：进行标签显著度的计算；
[0020]步骤35：进行标签排序。
[0021]优选的是，所述步骤11包括以下步骤：
[0022]步骤111：从所述基本图像中选取数量为Q幅的带有标签信息的图像；
[0023]步骤112：对所述带有标签信息的图像进行标签的去噪、缺失标签的添加和标签完善中至少一种工作，得到正确标签标注和排序的图像集A，所述图像集A包含Q幅图像。
[0024]在上述任一方案中优选的是，标签的集合T包含N个标签(T1，
……
，T
i
，
……
，T
N
)，对
于图像集A中的图像I
j
，对应的标签序列为其中，为标签i在图像I
j
中出现的情况，如果第i个标签出现，则否则为1≤j≤Q，1≤i≤N。
[0025]在上述任一方案中优选的是，所述步骤12包括以下子步骤：
[0026]步骤121：将所述图像集A的每一幅图像的标签映射到图像区域；
[0027]步骤122：计算视觉词字典，得到标签和视觉词的对应关系。
[0028]在上述任一方案中优选的是，所述步骤121包括本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像标签的自动标注与排序方法，包括以下步骤：步骤1：构建基准图像集，包括以下子步骤：步骤11：构建正确标签标注与排序的图像集；步骤12：基于所述正确标签标注与排序的图像集建立视觉词和标签的对应关系；步骤2：对无标签的测试图像进行标注，包括以下子步骤：步骤21：测试图像的超像素分割；步骤22：对超像素进行特征提取；步骤23：计算超像素区域和标签对应关系；步骤24：对测试图像x的所有超像素对应的标签进行合并；步骤3：对测试图像的标签进行排序，包括以下子步骤：步骤31：进行像素的对象性计算；步骤32：进行超像素区域的对象性计算；步骤33：将测试图像x对应的标签集合映射到图像x的不同区域，得到的标签分割区域序列为步骤34：进行标签显著度的计算；步骤35：进行标签排序。2.如权利要求1所述的图像标签的自动标注与排序方法，其特征在于，所述步骤11包括以下步骤：步骤111：选取数量为Q幅的带有标签信息的图像；步骤112：对所述带有标签信息的图像进行标签的去噪、缺失标签的添加和标签完善中至少一种工作，得到正确标签标注和排序的图像集A，所述图像集A包含Q幅图像。3.如权利要求2所述的图像标签的自动标注与排序方法，其特征在于，标签的集合T包含N个标签(T1，
……
，T
i
，
……
，T
N
)，对于图像集A中的图像I
j
，对应的标签序列为其中，为标签i在图像I
j
中出现的情况，如果第i个标签出现，则否则为4.如权利要求3所述的图像标签的自动标注与排序方法，其特征在于，所述步骤12包括以下子步骤：步骤121：将所述图像集A的每一幅图像的标签映射到图像区域；步骤122：计算视觉词字典，得到标签和视觉词的对应关系。5.如权利要求4所述的图像标签的自动标注与排序方法，其特征在于，所述步骤121包括将所述图像I
j
对应的标签序列映射到图像I
j
的不同区域，即对图像进行分割，得到的分割区域序列为每幅图像都进行标签对应的图像分割后，得到总的分割区域序列6....

【专利技术属性】
技术研发人员：马楠，许根宝，梁晔，郭聪，姚永强，汪成，张进，汪墨涵，肖传胜，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：