一种基于生成图像标注库的图像自动标注的方法技术

本发明专利技术公开了一种基于生成图像标注库的图像自动标注的方法，主要包括三个过程：(1)建立并改善自动标注的基准图像标注库；(2)利用提取的图像特征信息，构建图像近邻传播模型(3)在图像近邻传播模型的框架下，对未标注图像进行图像标签推断。本发明专利技术可以在一般图像原始标注库的基础上，减少甚至避免图像弱标签性，自动填补缺失标签，过滤明显噪声标签；增加图像标签权重，使图像标签在进行近邻传播时，更加有层次和目标性，增加图像标签传递的准确性。

【技术实现步骤摘要】

本专利技术涉及一种基于生成图像标注库的图像自动标注方法，属于数字图像处理

技术介绍
目前，随着网络时代的发展，信息量呈爆炸趋势增长，每天都有海量图片产生出来。如何有效的管理这些图片，查找符合自己需求的目标图片成了急需解决的问题。目前，主流的做法是给这些图片加上合适的语义标签，以供用户进行管理和检索。由于图像数据的庞大性，提高图像语义自动标注的丰富度和准确性都十分迫切。在此之前，对于固定的图像库标注的方法中，主要采用概率模型，计算对应图像特征的标签最大可能性，但是由于模型参数的复杂度有限，并不能准确描述图像特征和标签之间的关系，这种概率模型可能不是最好的模型。另外，如果过分追求训练模型的复杂度和参数调整，又会出现过拟合现象，使模型的适用性十分低。
技术实现思路
本专利技术的目的是为了解决对大量图像进行计算机自动标注的问题，通过构建相关的图像标注库，训练标注模型，提出了一种基于图像近邻传播的一种图像自动标注算法，该方法是在一个良好的图像标注库的构建基础上，通过近邻传播对未标注图像的标签推断，完成图像的自动标注。本专利技术方法包含了图像标签库构建、图像近邻传播模型学习和图像标签概率计算三个过程，图像标签库构建主要对初始图像标签库进行优化处理，补充图像缺失标签，增加图像标签等级，过滤错误标签；图像近邻传播模型的学习构建，主要采用机器学习的方法，在采集图像颜色特征、纹理特征以及局部兴趣点特征等多种图像特征的基础上，对训练集图像进行距离学习，得到一个可以计算图像近邻图像的模型；图像标签推断是通过图像近邻传播模型的计算，得到与未标注图像最相似的图像标注库中的图像，通过相关公式完成图像标签推断。一种图像自动标注方法，包括以下几个步骤：步骤1：图像标签库的构建。首先要构建一个图像标签库，作为后续图像自动标注的基础。图像标签库由图像库，对应的标签标注矩阵以及标签列表构成。标签列表包含所有用于图像标注的标签。标签标注矩阵由所有图像对应的标注向量构成，图像的标注向量为一个0,1串，标明图像是否存在标签列表对应的标签，如存在则为1，不存在则为0。例如，如果标签集为{sea,tree,sun,plane,sand本文档来自技高网...

【技术保护点】
一种基于生成图像标注库的图像自动标注的方法，包括以下几个步骤：步骤1：图像标签库的构建；图像标签库由图像库，对应的标签标注矩阵以及标签列表构成，标签列表包含所有用于图像标注的标签，标签标注矩阵由所有图像对应的标注向量构成，图像的标注向量0,1串，标明图像是否存在标签列表对应的标签，如存在则为1，不存在则为0；令原始图像标签库为{(x1,y1),...,(xl,yl)}，(xi，yi)表示第i个带有标签的图像，xi为图像i的视觉特征向量，yi为图像i的标签向量，标签列表为C＝{c1,c2,...,cq}，代表所有在图像标签库中出现过的标签；标签向量集合构成标签矩阵Y0＝[y1,y2,...,yl]，处理后的标签矩阵为Y＝[y1′,y2′,...,yl′]；令R为标签相关矩阵，Ri,j表示标签ci与标签cj之间的相关性,其中oi表示标注库中标签ci的频数，Coli,j表示标签ci与cj的共现，标签ci与cj的共现指的是标签ci与cj同时对一幅图像进行标注；设误差函数为E＝E1+αE2+βE3，dij表示图像i与图像j之间的距离，表示所有图像之间距离的和，s表示此图像标注库所有含有的标签列表中标签的个数，也即此图像标注库共有多少个不重复的标签；E1表示期望标签矩阵和样本的视觉相似性之间的差异性；E2＝||YTY‑R||2，Y为处理后的标签矩阵，E3＝||Y‑Y0||2，Y为处理后的标签标注矩阵，Y0为初始的标签标注矩阵；优化目标为min{E1+αE2+βE3}，α和β均为非负整数，求解出近似的最优解，最优解即处理过后的最优图像标签库；针对一个标注集为T＝{T1,T2,...,Tn}的图像，首先对其进行图像分割，得到m个图像块，再从该标注集T中为每个图像块确定一个最佳标注，最后合并具有相同标注的相邻区域，从而实现了为图像进行区域标注的目的；计算分割之后每一个标签对应的图像块面积，得到面积序列为S＝{S1,S2,...,Sn}，将图像的长宽分别进行8等分分割，每一层的权重由内置外依次递减，最外层的权重每分割为1，依次为1,2,4,8，一共四层；计算标注区域对应的图像权重块，如果图像区域与图像块有交集，则对应图像块总权重增加对应分割块的权重，得到权重序列W＝{W1,W2,...,Wn}；对应的标签权重计算公式为：最终的图像标注库中图像标签矩阵中每一个图像的标签向量为标签权重；步骤2：基于距离的最近邻传播模型的构建；提取图像的多维特征，包括图像颜色特征，图像纹理特征，图像局部兴趣点特征，图像特征分多个维度计算其距离；其中，图像颜色特征包括颜色矩和颜色聚合向量，采用YUV颜色空间进行颜色特征提取；颜色矩采集包括一阶矩、二阶矩和三阶矩：一阶矩：二阶矩：三阶矩：其中，pi,j表示彩色图像第i个颜色通道分量中灰度为j的像素出现的概率，N表示图像中的像素个数，μi为图像第i个颜色通道分量的平均值，或者简单说即一阶矩；图像的3个分量Y，U，V的前三阶颜色矩组成一个9维直方图向量，即图像的颜色特征：Fcolor＝[μY,σY,sY,μU,σU,sU,μV,σV,sV]，其中字母μ，σ和s分别代表一阶矩，二阶矩和三阶矩，下标Y，U和V分别代表图像的三个分量，组合起来为颜色分量对应的颜色矩；颜色聚合向量：将直方图的每一个纵向条纹bin的像素分为两部分，如果该bin内的某些像素所占据的连续区域的面积大于给定的阈值，则该区域内的像素作为聚合像素，否则作为非聚合像素，将每一个bin分为颜色聚合向量和颜色非聚合向量；图像的纹理特征采用基于Gabor小波的纹理特征；最后，图像特征还包含SIFT算子提取的图像特征点特征；提取图像各项特征之后，构建基于距离的最近邻传播模型，其近邻被定义为融合多维图像特征的图像距离与目标图像最为接近的若干张图像，其距离权重w被定义为：wij=exp(-dθ(i,j))Σexp(-dθ(i,j))]]>其中，j为训练集中的图片，d为各种距离加权和，dθ(i,j)＝θTdij，d是一个维度的距离，θ是权值矩阵；dθ(i,j)是多维距离的线性组合，其中核心参数是权值矩阵θ的计算，通过使用TagProp模型进行学习，学习的结果是得到权值矩阵θ；步骤3：对未标注图像进行标签概率计算；计算待标注的图像i对应的标签y存在的概率p(yi)：p(yi)=σ(αΣjwij·v(j,yj)+β)]]>其中，σ(z)＝(1+exp(‑z))‑1，其作为概率计算结果——的一个平滑处理，wij表示图像i和j在图像集中的距离权重，v(j,yj)代表在图像j中，标签y的权重，α,β是公式中的一组调和参数，作为不同训练集调优的一个设置，对于一幅图像，通过标签推断公式计算得出...

【技术特征摘要】
1.一种基于生成图像标注库的图像自动标注的方法，包括以下几个步骤：步骤1：图像标签库的构建；图像标签库由图像库，对应的标签标注矩阵以及标签列表构成，标签列表包含所有用于图像标注的标签，标...

【专利技术属性】
技术研发人员：牛建伟，马骏，郑世超，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11