利用形状进行目标表示与检索的方法和装置制造方法及图纸

本发明专利技术涉及供检索使用的对出现在静止或视频图像中的目标进行表示的方法，其中的目标出现在具有第一的二维外形的图像中，通过对相应图像的信号进行处理，包括导出该目标第一外形的视图描述符以及导出至少一个在不同视图中的目标的外形的视图描述符，并且将二个或者更多的视图描述符进行关联以形成一个目标描述符。（*该技术在2020年保护过期，可自由使用*）

【技术实现步骤摘要】
本申请为分案申请。母案是2004年4月15日提交的分案申请200410034396.8，其专利技术名称同样是“利用形状进行目标表示与检索的方法和装置”，申请日为2000年4月28日。本专利技术涉及利用形状对图像中的目标进行表示的方法和装置，特别在检索中使用。本专利技术还涉及利用形状表示对图像中的目标进行检索的方法和装置。众所周知，利用出现在图像中的目标的表示来存储静止或者视频图像，例如在图像库中。在检索方法中使用这些表示使得图像包含供以后要恢复的令人感兴趣的目标。这些表示可以基于目标的各种不同的特征包括色彩、纹理和形状。已知有许多方法用于表示图像中目标的形状。已知的方法包括链式编码(chain coding)、四树法(quad-tree)和曲率标度表示(curvature scale space representation)法。为了在图像检索系统中进行检索，用户通过给系统提供被搜寻目标的草图或图像，或者选择一幅存储在系统中目标的视图来输入查询。然后，该系统导出或获得该查询目标的一个表示并且通过适当的匹配算法将该查询表示与存储在数据库中的表示进行比较。将最接近的匹配表示在显示单元上。在大多数情况下，出现在视频图像中的目标是三维真实目标在二维图像平面上的投影。所以，出现在图像中目标的二维形状或外形依赖于诸如观察位置、观察角度以及拍摄装置和光学系统参数等因素。因此，目标将具有与不同的观察视图相关的不同的外形。已知的图像数据库系统的一个缺点是具有不同外形的一个目标的不同的视图被处理成了不同的目标。作为结果，例如，如果用户输入一个基于目标A的前视图的查询，并且该目标A只出现在来自后视图和侧视图的视频序列中，结果无法成功匹配并且无法恢复该目标。本专利技术提供了一种对出现在数字图像中的目标进行表示的方法，该方法包括导出对应于该目标的多个不同的二维视图的表示。本专利技术还提供了一种匹配目标的方法，该方法包括通过处理对应于目标图像的信号，输入查询和将该查询与目标的不同视图的多个表示进行比较，以发现最接近的一个匹配或一些匹配。下面将参照以下附图描述本专利技术的实施方案附图说明图1是根据本专利技术的实施方案的系统的方框图；图2是展示如何获得针对一个目标的描述符的示意图；图3是展示如何获得针对目标的描述符的流程图；图4是展示用于检索的设备和方法示意图；图5是展示检索方法的流程图。图1展示了一个根据本专利技术的实施方案的系统。该系统包括控制单元2例如用于控制系统运行的计算机、与控制单元2相连接用于显示包括图像和文字的输出的显示单元4例如监视器、以及给控制单元2输入指令的指示装置6例如鼠标。该系统还包括存储多个视频序列的数字版本的图像数据库8以及存储描述符信息的描述符数据库10，这将在下文中针对出现在存储图像数据库中的视频序列中的每一个的目标进行更详细的描述。图像数据库8和描述符数据库10中的每一个数据库都与控制单元2相连接。在该实施方案中，系统元在一个单一位置例如图像库被提供，在该位置上系统部件被永久链接。参照图2和图3将对根据本专利技术的实施方案的目标的描述符的导出方法进行描述。将针对一个具有相对简单形状的的目标，目前情况下是一个圆柱形目标对该方法进行描述。在该实例中，该圆柱形目标在存储在图像数据库8中的视频序列中出现二次。参照图2，第一次出现时该目标外形对应视图1，该视图是一个侧视图，第二次出现时该目标的外形对应于视图3，该视图是侧视图和俯视图。现在参照图3对该方法的步骤进行描述。数据库索引器(database indexer)认为二个外形属于同一个目标以及该三维目标对应的外形是一个圆柱形(步骤10)。对于视图1和视图3中的每一个，采用曲率标度空间(CSS)表示来导出形状描述符(步骤20)。另外，该数据库索引器选择任意另外的被认为能代表目标的视图，即使它们不在被考虑的视频序列中出现(步骤30)。在该实例中，选择视图2即该圆柱体的俯视图作为代表。也获得了该视图的CSS表示(步骤40)。Farzin Mokhtarian，Sadegh Abbassi，Josef Kittler等人的“通过曲率标度空间进行加强和有效的形状指标化”不列颠机器版本大会会议录，53页-62页，爱丁堡，英国，1964年(“Robust andEfficient Shape Indexing through Curvature Scale Space”FarzinMokhtarian，Sadegh Abbassi，Josef Kittler，Proc.BritishMachine Vision Conference，pp.53-62，Edinburgh，UK，1964)一文对曲率标度空间表示进行了描述并且结合在此作为参考。简要说来，形状外形的曲率表示是采用对曲线平滑来进行的。该曲线被考虑成许多的不同的演化阶段。更具体而言，在演化的每一个阶段的曲率函数中确认曲率的零交叉。通过将这些来自所有演化步骤的零交叉组合得到一个曲率零交叉图。该图的一个轴对应σ，它代表曲线的演化参数并且另一个轴对应曲线的弧长参数υ。那么形状由图形中的轮廓线最大值的位置表示。除了该目标的代表视图的CSS形状表示，还获得了一个独立于该目标视图的全局三维形状参数(步骤50)。在该实例中，该全局参数是目标在现实生活中的体积。该体积可能已知，或者参照出现在视频序列中的其它目标可以大致估计，例如可以大致估计人的外形尺寸。将全局参数与该视图形状描述符组合形成三维目标形状描述符(步骤60)。对所有令人感兴趣的出现在图像数据库8中的图像中的目标可以通过上述方式获得三维目标形状描述符。根据任何给定目标的复杂程度来使用该目标的视图的数目以及这些视图。有些目标在三维目标描述符中可能没有全局参数，例如如果不知道或者不容易导出体积值。每一视图有一个参考指针指明它在视频序列中的哪一帧中出现，以及是该帧中的哪一个目标，例如，目标的视图可以具有一个指针指明它出现在第1000帧中并且是第3号目标。在采用不同形状表示方法中的其它实施方案中，该视图的数目和特征依赖于所使用的形状表示。例如，对由于视图几何变化引起的形状变形不敏感的方法需要较小的视图数目。该描述符数据库10为存储在图像数据库8中的视频序列中的目标存储三维目标形状描述符。现在参照图4和图5对在视频序列中进行目标检索的方法进行描述。用户通过输入查询来启动检索。该查询通过指示装置6在显示单元4上画出一个或者更多的形状外形(步骤62)。在该实例中，输入了二个查询外形100。这些是查询视图。该用户还输入了代表他正在检索的目标的体积参数(步骤64)。然后，控制单元2对每一个查询视图导出CSS视图描述符(步骤66)。在另一个实施方案中，用户通过选择一个查询形状或者从由控制单元2在显示单元4上显示的形状菜单中选择形状来输入查询。在该实施方案中，有可能在描述符数据库10中已经能够获得该视图描述符。该查询体积参数与该查询视图描述符被组合形成一个三维的目标描述符。然后系统为确定该查询目标描述符与存储在描述符数据库10中的目标描述符之间的相似性进行匹配操作，这在下文中被描述为模型目标描述符(model object descriptor)。在描述符数据库中有选择器205按照顺序选择每一个模型目标描述符(本文档来自技高网...

【技术保护点】
对出现在图像中的目标进行表示的一种方法，其中通过处理对应于该图像的信号，出现在图像中的目标具有一个第一的二维外形，该方法包括导出一个该目标的第一外形的视图描述符并且导出至少一个在不同视图中的该目标外形的另外的视图描述符，并且将这二个或者更多的视图描述符进行关联以形成目标描述符。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：M博贝，
申请(专利权)人：三菱电机株式会社，
类型：发明
国别省市：JP[日本]