一种基于改进算法的图片拼接方法技术

为了解决传统拼图方法很难对大量图片中所包含的事件有一个快速准确的拼接分类的问题，本发明专利技术提出一种基于改进算法的图片拼接方法，属于图像处理领域。该方法通过分析和提取图片中的人物、时间、地点、情节等叙事属性，将图片按层次结构组织，形成图片的层次拼接；此外该方法还提出一种新的照片相似性计算和叙事重要性区域检测方法，能够更好的实现按照叙事元素的照片分类和紧凑的拼图表示。

【技术实现步骤摘要】

本专利技术属于图像处理领域，，具体涉及一种基于改进的图片相似性计算以及重要性区域检测的图片拼接方法。
技术介绍
从计算机图形学的角度来看，可以采用拼图方法将重要的图片拼接组合在一起形成内容总结，使用户从拼图可以了解大量图片中所包含的主要事件。这方面的工作已经有很多，比如基于矩形画板的图片拼图(Wang J. D.，Sun J.，QuanL. , Tang X. O. , Shum H. Y. Picture collage. Proceeding of CVPR, 2006)和自动拼图(Rother C., Bordeaux L. , Hamadi Y. , Blake A. AutoCollage. ACM Transactions onGraphics, 25(3) :847-852，2006)。以上图片拼图工作生成了较具吸引力的结果，可以对大 量的图片内容进行一定范围的总结。但是由于在拼图制作过程中单纯从图片之间布局的协调性出发，比如包含天空的图片应该置于拼图的上方，色调相近的图片应该彼此相邻，而没有从事件发展的进程进行考虑，因此通过该种基于矩形画板的图片拼图算法很难对大量图片中所包含的事件有一个快速准确的拼接分类。在各种拼图算法中，判断图像场景内容的相似性是对图片进行分类的重要步骤。现有的图片相似性计算方法(Simakov D. , Caspi Y. , Shechtman E. , Irani M. Summarizingvisual data using bidirectional similarity. Proceeding of CVPR, 2008)通常只考虑单一的颜色、纹理等因素，该方法采用如下公式定义两幅图片S、T之间的相似性d(S，T)c/{S, I) = -i-V min /)(/), (J) -t V min 1)(0, P) K p[s qJe[r p[s其中，P、Q是像素，D是像素之间颜色差异，Ns和Nt是两幅图片各自的像素个数。通过这种方法计算的相似性，仅能够描述两幅图片色彩上的一致性，体现不出两幅图片是否在相同或相近的时间、地点拍摄，导致相似性判断的不准确，进而导致图片不能准确的分类拼接的问题。为了获取更紧凑的拼图表示形式，现有的拼图方法通常从图片中提取视觉重要的区域，即进行图像重要性区域检测，只将感兴趣的重要部分进行拼接。目前的图像重要性区域检测方法(Cheng Μ. Μ. , Zhang G. X. , Mitra N. J. , Huang X. L. , Hu S. Μ. Global contrastbased salient region detection. Proceeding of CVPR, 2011.)只是分析单幅图像内部各像素之间的对比度，在对颜色分布进行直方图量化后，选取直方图中出现频率少、颜色差异大的方格对应的像素为重要性区域。其计算公式为K(/,) = Y(P1) = tj'JKp” P) I=I其中对于给定图片PiJ(Ik)为对于颜色为Pi的像素Ik，其在自身图片中的重要性η是像素的个数，I是像素索引，D是颜色空间的距离，fx代表颜色出现的频率，P1代表像素颜色。这种方法虽然可以判断单幅图像中最容易引起关注的前景区域，但通常会过滤掉背景中的重要的场景物体，从而不能准确反映拍摄图片重要的地点信息，进而导致图片不能准确的分类拼接的问题。
技术实现思路
为了解决传统拼图方法很难对大量图片中所包含的事件有一个快速准确的拼接分类的问题，本专利技术提出，能够对图片记录的事件发展过程有更清晰的展示。该方法通过分析和提取图片中的人物、时间、地点、情节等叙事属性，将图片按层次结构组织，形成图片的层次拼接。本专利技术具体的实现过程如下，该方法包括如下步骤步骤一、图片读取；按照图片拍摄的时间顺序依次读取图片，并记录每张图片的拍摄时间；步骤二、人脸区域检测；依次从图片中检测人脸区域，并记录人脸的数量、位置及大小；步骤三、图片相似性计算；对于每张图片P，采用直方图统计方法计算其颜色直方图h和采用GIST方法计算形状符g ;计算步骤一读取的所有图片中每两张图片Pi和P」的图片相似性Sij ( , (H1-Hi)2Λ5.. =-exp {g.-gj) + w, ·+ W2 · (/,. - IjyV+hj其中exp是指数函数，ti和tj分别对应图片Pi和Pj的拍摄时间，W1, W2是加权因子；步骤四、获取图片叙事层次；根据图片之间的相似性Su，采用信息传递聚类算法对步骤一中所有的图片进行聚类运算，得到多个聚类中心，将聚类中心作为情节；将处于聚类中心的情节图片按拍摄时间进行排列，从而得到第一层次的图片叙事层次；针对处于第一层次的每两张相邻图片，从步骤一读取的图片中，获取这两张相邻图片之间的图片，并采用所述信息传递聚类算法得到聚类中心，将得到的处于聚类中心的情节图片按照按拍摄时间排列，得到第二层次的图片叙事层次；针对第二层次的图片叙事层次进行图片获取、聚类、排序的处理，得到下一层次的图片叙事层次，以此类推，得到各层次的图片叙事层次；每执行一次聚类运算同时记录聚类中心所在聚类的所有图片；步骤五、针对步骤一读取的每张图片进行叙事重要性计算；针对每张图片获取其作为聚类中心的聚类，将获取的聚类中聚类中心以外的图片作为样本参考图片，对于处于聚类中心的图片，选定任意像素Ik在自身图片中的重要性定义为Y(IJ = Y(Pi) = JjJlDiP^Pi) I=I其中，η是图片中的像素个数，I是像素索引，D(x，y)是颜色x和y在颜色空间的距离，fi代表颜色P1在图片中出现的频率，Pi为像素Ik的颜色，P1代表图片中点I像素颜色；定义该像素Ik在样本参考图像中出现的频率重要性为YXIk) = Υ'(ρ,) = Σ/ , J=I其中/'f是颜色Pi在样本参考图片j中的频率，j是样本图像索引，nr为样本参考图片个数；则像素Ik的叙事重要性定义为S(Ik) = S(Pi) = Y(Pi) · Y’ (Pi)针对处于聚类中心的图片中的每种像素，获取所述叙事重要性； 根据步骤二获得的人脸的数量、位置及大小，从处于聚类中心的图片中提取人脸位置，将人脸区域中的像素赋予一个补充叙事重要性值，并叠加到所述叙事重要性值上，从而得到每个像素最终的叙事重要性；步骤六、兴趣区域裁剪；针对步骤一读取的每张图片，根据步骤五获得的叙事重要性，通过动态阈值裁剪方法计算并裁剪出兴趣区域；步骤七、无缝层次拼图；针对图片叙事层次中的每个层次，将该层次中所有的图片进行无缝拼接。有益效果(I)传统的拼图方法只考虑图片布局的协调性，不能够很好的表现图片记录事件的发展过程，而本专利技术方法可以将图片按事件发展的顺序进行无缝拼接；具体从数码图片中提取相关的人物、时间、地点、情节等叙事要素，将其进行多层次组织，形成对图片的层次拼接。(2)为了解决现有技术中图片相似性计算不准确的问题，本专利技术采用了改进的相似性计算方法，除考虑传统的图片颜色特征，还考虑了反映拍摄时间、地点场景相似程度的度量在相同或相近时间、地点拍摄的图片的相似性会更高。通过综合颜色、地点、时间等多方面特征，可以将图片的主要内容反映出来，提高相似性计算的准确性，获取图本文档来自技高网...

【技术保护点】
一种基于改进算法的图片拼接方法，其特征在于，该方法包括如下步骤：步骤一、图片读取；按照图片拍摄的时间顺序依次读取图片，并记录每张图片的拍摄时间；步骤二、人脸区域检测；依次从图片中检测人脸区域，并记录人脸的数量、位置及大小；步骤三、图片相似性计算；对于每张图片P，采用直方图统计方法计算其颜色直方图h和采用GIST方法计算形状符g；计算步骤一读取的所有图片中每两张图片Pi和Pj的图片相似性Sij：sij=-exp((gi-gj)2+w1·(hi-hj)2hi2+hj2+w2·(ti-tj)2)其中exp是指数函数，ti和tj分别对应图片Pi和Pj的拍摄时间，w1，w2是加权因子；步骤四、获取图片叙事层次；根据图片之间的相似性Sij，采用信息传递聚类算法对步骤一中所有的图片进行聚类运算，得到多个聚类中心，将聚类中心作为情节；将处于聚类中心的情节图片按拍摄时间进行排列，从而得到第一层次的图片叙事层次；针对处于第一层次的每两张相邻图片，从步骤一读取的图片中，获取这两张相邻图片之间的图片，并采用所述信息传递聚类算法得到聚类中心，将得到的处于聚类中心的情节图片按照按拍摄时间排列，得到第二层次的图片叙事层次；针对第二层次的图片叙事层次进行图片获取、聚类、排序的处理，得到下一层次的图片叙事层次，以此类推，得到各层次的图片叙事层次；每执行一次聚类运算同时记录聚类中心所在聚类的所有图片；步骤五、针对步骤一读取的每张图片进行叙事重要性计算；针对每张图片获取其作为聚类中心的聚类，将获取的聚类中聚类中心以外的图片作为样本参考图片，对于处于聚类中心的图片，选定任意像素Ik在自身图片中的重要性定义为：Y(Ik)=Y(pi)=Σl=1nflD(pl,pi)其中，n是图片中的像素个数，l是像素索引，D(x,y)是颜色x和y在颜色空间的距离，fl代表颜色pl在图片中出现的频率，pi为像素Ik的颜色，pl代表图片中点l像素颜色；定义该像素Ik在样本参考图像中出现的频率重要性为：Y′(Ik)=Y′(pi)=Σj=1nr[fi′jlog(1+fi′j/fi)]/nr其中是颜色pi在样本参考图片j中的频率，j是样本图像索引，nr为样本参考图片个数；则像素Ik的叙事重要性定义为：S(Ik)＝S(pi)＝Y(pi)·Y“(pi)针对处于聚类中心的图片中的每种像素，获取所述叙事重要性；根据步骤二获得的人脸的数量、位置及大小，从处于聚类中心的图片中提取人脸位置，将人脸区域中的像素赋予一个补充叙事重要性值，并叠加到所述叙事重要性值上，从而得到每个像素最终的叙事重要性；步骤六、兴趣区域裁剪；针对步骤一读取的每张图片，根据步骤五获得的叙事重要性，通过动态阈值裁剪方法计算并裁剪出兴趣区域；步骤七、无缝层次拼图；针对图片叙事层次中的每个层次，将该层次中所有的图片进行无缝拼接。FDA00002140159000023.jpg...

【技术特征摘要】

【专利技术属性】
技术研发人员：张磊，黄华，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：