尺度不变特征提取方法和装置、对象识别方法和装置制造方法及图纸

提供了一种提取视频流中图像的尺度不变特征的尺度不变特征提取方法和装置以及基于该特征提取方法的对象识别方法和装置。该图像包括灰度图像和对应的视差图像，在时间上对应于t1时刻，该图像在视频流中具有时间上的在先图像和在后图像，该特征提取方法可以包括：定位图像中的关键点；生成围绕关键点的描述区域，该描述区域以关键点为中心，在x，y，z，t四维中描述，该描述区域在x、y、z、t维中每个维度的范围取值均不为零；以及对于每个关键点，基于其描述区域，生成描述子，作为该关键点的尺度不变特征。本发明专利技术能够将时域、深度域和图像平面的信息密切结合起来提取四维尺度不变特征，适合于应用于机器学习。

【技术实现步骤摘要】
尺度不变特征提取方法和装置、对象识别方法和装置
本专利技术总体地涉及图像处理，具体地，涉及特征提取方法、对象识别方法和对应装置。
技术介绍
真实场景中的目标识别对局部特征的要求较高，要求特征不受附近物体的干扰和部分遮挡的影响等。目标识别的一大难点是图像特征的选择。用于目标识别的特征通常会受如下因素的影响：尺度变化，图像旋转，图像模糊，图像压缩以及亮度变化等。现有的局部特征很多，包括GLOH(GradientLocationOrientationHistogram，梯度位置朝向直方图)，SIFT(ScaleInvariantFeatureTransform，尺度不变特征变换)，方向可控滤波器等。这些特征都是基于二维图像域信息的，难以解决一些复杂场景的情况，如遮挡。深度信息现在已经被广泛的应用于图像处理领域，而时间域特征或简称为时域特征在视频或图像序列中的应用也很多。SIFT(ScaleInvariantFeatureTransform)是尺度不变特征变换的缩写，它是图像处理中的一种尺度不变和旋转不变的特征描述子。由DavidG.Lowe在1999年提出,并且存在其作为专利技术人的专利技术名称为“Methodandapparatusforidentifyingscaleinvariantfeaturesinanimageanduseofsameforlocatinganobjectinanimage”的专利US6,711,293。有关SIFT特征和应用的介绍可以参考DavidG.Lowe发表的文章Objectrecognitionfromlocalscale-invariantfeatures,InternationalConferenceonComputerVision,Corfu,Greece(September1999),pp.1150-1157.以及Distinctiveimagefeaturesfromscale-invariantkeypoints，InternationalJournalofComputerVision,60,2(2004),pp.91-110.已经存在一些利用SIFT特征或其它局部特征来进行对象识别或跟踪的技术。例如，ComputerVisionLab,UniversityofCentralFlorida,Orlando,FL.的P.Scovanner,S.Ali,M.Shah等在Proceedingsofthe15thinternationalconferenceonMultimedia,2007年上发表的题为“A3-DimensionalSIFTDescriptoranditsApplicationtoActionRecognition”的文章，以及Tsalakanidou,F.和Malassiotis,S.的文章Real-timefacialfeaturetrackingfrom2D+3Dvideostreams.InformationandTelematicsInstitute,CenterforResearchandTechnologyHellas,Greece.3DTV-Conference:TheTrueVision-Capture,TransmissionandDisplayof3DVideo,2010。
技术实现思路
本专利技术的一个目的在于提供一种将时域信息和深度信息更紧密结合到尺度不变特征提取中以更适合于直接应用于机器学习的技术。根据本专利技术的一个方面，提供了一种提取视频流中第一图像的尺度不变特征的尺度不变特征提取方法，该图像包括第一灰度图像和对应的第一视差图像，在时间上对应于t1时刻，该图像在视频流中具有时间上的在先图像和在后图像，该方法可以包括：定位图像中的关键点，得到关键点的坐标(x1,y1,z1,t1)，其中x1,y1表示关键点在灰度图像上的坐标，z1表示关键点的视差，t1表示图像在时间上的维度；生成围绕关键点的描述区域，该描述区域以关键点为中心，在x，y，z，t四维中描述，该描述区域在x、y、z、t维中每个维度的范围取值均不为零；以及对于每个关键点，基于其描述区域，生成描述子，作为该关键点的尺度不变特征。根据本专利技术的另一方面，提供了一种提取视频流中第一图像的尺度不变特征的尺度不变特征提取装置，该图像包括第一灰度图像和对应的第一视差图像，在时间上对应于t1时刻，该图像在视频流中具有时间上的在先图像和在后图像，该装置包括：关键点定位单元，用于定位图像中的关键点，得到关键点的坐标(x1,y1,z1,t1)，其中x1,y1表示关键点在灰度图像上的坐标，z1表示关键点的视差，t1表示图像在时间上的维度；描述区域生成单元，生成围绕关键点的描述区域，该描述区域以关键点为中心，在x，y，z，t四维中描述，该描述区域在x、y、z、t维中每个维度的范围取值均不为零；以及描述子生成单元，用于对于每个关键点，基于其描述区域，生成描述子。根据本专利技术的再一方面，提供了一种识别感兴趣图像中的对象的对象识别方法，该感兴趣图像包括灰度图像和对应的视差图像，在时间上对应于t1时刻，该感兴趣图像在视频流中具有时间上的在先图像和在后图像，该对象识别方法可以包括：提取该感兴趣图像的尺度不变特征；以及基于提取的该图像的尺度不变特征，利用分类器来识别图像中的对象，其中该分类器是利用多个参考对象的尺度不变特征训练得到的，以及其中参考对象的尺度不变特征是采用与提取该感兴趣图像的尺度不变特征同样的方法对包含参考对象的参考图像提取得到的，所述提取该感兴趣图像的尺度不变特征包括：定位图像中的关键点，得到关键点的坐标(x1,y1,z1,t1)，其中x1,y1表示关键点在灰度图像上的坐标，z1表示关键点的视差，t1表示图像在时间上的维度；生成围绕关键点的描述区域，该描述区域以关键点为中心，在x，y，z，t四维中描述，该描述区域在x、y、z、t维中每个维度的范围取值均不为零；以及对于每个关键点，基于其描述区域，生成描述子。根据本专利技术的再一方面，提供了一种识别感兴趣图像中的对象的对象识别装置，该感兴趣图像包括灰度图像和对应的视差图像，在时间上对应于t1时刻，该感兴趣图像在视频流中具有时间上的在先图像和在后图像，该对象识别装置包括：尺度不变特征提取器，用于提取该感兴趣图像的尺度不变特征；以及分类器，用于基于提取的该图像的尺度不变特征，识别图像中的对象，其中该分类器是利用多个参考对象的尺度不变特征训练得到的，以及其中参考对象的尺度不变特征是采用与尺度不变特征提取器提取该感兴趣图像的尺度不变特征同样的方法对包含参考对象的参考图像提取得到的，所述尺度不变特征提取器包括：关键点定位单元，用于定位图像中的关键点，得到关键点的坐标(x1,y1,z1,t1)，其中x1,y1表示关键点在灰度图像上的坐标，z1表示关键点的视差，t1表示图像在时间上的维度；描述区域生成单元，生成围绕关键点的描述区域，该描述区域以关键点为中心，在x，y，z，t四维中描述，该描述区域在x、y、z、t维中每个维度的范围取值均不为零；以及描述子生成单元，用于对于每个关键点，基于其描述区域，生成描述子。利用本专利技术实施例的尺度不变特征提取方法和尺度不变特征提取装本文档来自技高网...

【技术保护点】
一种提取视频流中第一图像的尺度不变特征的尺度不变特征提取方法，该图像包括第一灰度图像和对应的第一视差图像，在时间上对应于t1时刻，该图像在视频流中具有时间上的在先图像和在后图像，该方法包括：定位图像中的关键点，得到关键点的坐标(x1,y1,z1,t1)，其中x1,y1表示关键点在灰度图像上的坐标，z1表示关键点的视差，t1表示图像在时间上的维度；生成围绕关键点的描述区域，该描述区域以关键点为中心，在x，y，z，t四维中描述，该描述区域在x、y、z、t维中每个维度的范围取值均不为零；以及对于每个关键点，基于其描述区域，生成描述子，作为该关键点的尺度不变特征。

【技术特征摘要】
1.一种提取视频流中第一图像的四维尺度不变特征的尺度不变特征提取方法，该图像包括第一灰度图像和对应的第一视差图像，在时间上对应于t1时刻，该图像在视频流中具有时间上的在先图像和在后图像，该方法包括：定位图像中的关键点，得到关键点的坐标(x1,y1,z1,t1)，其中x1,y1表示关键点在灰度图像上的坐标，z1表示关键点的视差，t1表示图像在时间上的维度；生成围绕关键点的描述区域，该描述区域以关键点为中心，在x，y，z，t四维中描述，该描述区域在x、y、z、t维中每个维度的范围取值均不为零；以及对于每个关键点，基于其描述区域，生成描述子，作为该关键点的四维尺度不变特征。2.根据权利要求1的尺度不变特征提取方法，所述对于每个关键点，基于其描述区域，生成描述子包括：计算描述区域内每个像素点在x、y、z、t四维空间中的由三个角度表示的梯度方向；基于描述区域内每个像素点由三个角度表示的梯度方向，生成三维方向直方图；确定三维方向直方图的峰值，以及基于所确定的峰值确定关键点在四维空间中的主方向；以及基于所确定的关键点在四维空间中的主方向，生成描述子。3.根据权利要求2的尺度不变特征提取方法，所述基于所确定的关键点在四维空间中的主方向，生成描述子包括：以关键点为中心，旋转描述区域，使得关键点的主方向与参考方向对准；将描述区域划分为多个子区域，以及对于每个子区域，基于该子区域内的各个像素的梯度方向，生成该子区域的三维方向直方图；以及基于各个子区域的三维方向直方图，产生关键点的描述子。4.根据权利要求2的尺度不变特征提取方法，所述对于每个关键点，基于其描述区域，生成描述子还包括：计算描述区域内每个像素点在x、y、z、t四维空间中的由三个角度表示的梯度的幅值；基于在x、y、z、t四维空间中描述区域内每个像素点到关键点的距离和该像素点的梯度的幅值，来计算该像素点的权重；其中，生成三维直方图包括，基于各个像素点的权重和各个像素点的由三个角度表示的梯度方向，确定在预定方向范围内的像素点的加权数目。5.根据权利要求1的尺度不变特征提取方法，其中，所生成的描述区域在x、y维的范围取值随着关键点的视差值的不同而不同，关键点的视差值较大时，描述区域在x、y维的范围取值也较大。6.根据权利要求1的尺度不变特征提取方法，其中所述定位图像中的关键点包括：对于第一灰度图像，计算多个高斯差分图像；定位多个高斯差分图像中的像素幅度极值；以及基于具有像素幅度极值的像素，确定关键点。7.根据权利要求6的尺度不变特征提取方法，其中所述定位图像中的关键点还包括：对于灰度图像中确定的关键点的每个，确定在时间上的在先灰度图像中与该灰度图像中的该关键点对应的点周围的预定范围内以及在时间上的在后灰度图像中的与该灰度图像中的该关键点对应的点周围的预定范围内是否存在关键点；以及当在时间上的在先灰度图像中与该灰度图像中的关键点对应的点周围的预定范围内以及在时间上的在后灰度图像中的与该灰度图像中的关键点对应的点周围的预定...

【专利技术属性】
技术研发人员：贺娜，刘媛，师忠超，王刚，鲁耀杰，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：日本;JP