图像处理设备制造技术

在图像处理系统中，主题对象（４００）被放置在呈照相垫层（３４）或三维对象（２５００）形式的校准对象上。所述校准对象具有包含多个特征的图案，至少一些特征被分为多个特征组，使得任意特征组中的特征至少满足以特征的位置、连通性、形状、大小和／或颜色为基础的两种不同关系。从不同的位置和方位记录均至少显示部分主题对象（４００）和校准对象的图像（４２０－４２６）。处理图像数据，计算图像被记录的位置和方位。在图像数据的处理中，区分代表校准对象上特征的特征和代表主题对象（４００）上特征的特征，并且每个特征被标记为校准对象上的唯一特征。这是通过利用特征组和特征组中各个特征间的关系进行处理实现的。（*该技术在2020年保护过期，可自由使用*）

【技术实现步骤摘要】

本专利技术涉及对象图像的记录和图像数据的处理，以便确定图像被记录的位置和方位。更具体地说，本专利技术涉及和对象一起成像的图形化校准对象，以及图像数据的计算机处理，以便根据图像中校准对象的图案确定成像位置和方位。若干应用程序需要知道成像设备的图像记录位置和方位。这样的应用程序包括根据对象的图像生成对象的三维计算机模型。就提供这种信息的一种已知方法而论，在记录对象的图像之后，通过处理该图像，从而匹配该对象在不同图像中的特征并且根据图像中匹配特征的相应位置计算各个图像的位置和方位，计算位置和方位。但是这种方法存在这样的问题，即计算的位置和方位的精度高度依赖于图像中被正确匹配的特征。但是多数情况下，这是不能实现的，例如如果对象具有许多不能相互区分的特征。就其它已知的方法而论，在实际记录对象的任意图像之前，确定要记录的图像的位置和方位。例如，在一种已知方法中，在台架上按照固定的已知位置和方位安装多个照相机。这可提供高度准确的位置和方位数据，但是既昂贵又不灵活，需要一个以上的照相机以及一个校准台架，不允许用户自由根据对象的大小和性质自由选择成像位置。为了解决上述系统不灵活的问题，根据Wiles和DavisonR的“Calibrating and 3D Modelling with Multi-Camera System”(1999IEEE Workshop on Multi-View Modelling and Analysis of VisualScenes，ISBN 0769501109)，已知在所需的但是固定的位置和方位(例如在三脚架上)上安排若干照相机。随后记录具有按照已知结构安排的特征的校准对象的图像，并且处理来自各个照相机的图像，从而根据校准对象上各个特征在图像中的位置，计算照相机的位置和方位。随后用要成像的实际对象替换校准对象。这样，当计算位置和方位时，校准对象上的特征不会和实际对象上的特征混淆。通过把照相放置在固定位置，记录校准对象的图像，记录实际对象的图像，并处理校准对象的图像确定该照相机的位置和方位，对照相机的所需的各个新位置和新方位重复上述过程，相同的方法可和单个照相机一起使用。但是该方法存在这样的问题，即对于照相机的每个位置和方位，必须记录至少两个图像(校准对象的图像和实际对象的图像)，并且照相机必须保持固定不动，以便记录这些图像。解决该问题的一种途径是为表示校准对象和实际对象的各个所需记录位置和方位，记录单一图像，处理该图像从而区分代表校准对象上特征的特征和代表实际对象上特征的特征，并且利用代表校准对象上特征的特征计算图像被记录的位置和方位。Niem的“Automatic Reconstruction of 3D Objects Using a MobileCamera”，Image and Vision Computer 17(1999)，第125-134页中公开了对象和放置在该对象下面的校准图案的图像的同时获得。校准图案旋转对称，由通过尺寸已知的径向线段相连的两个同心圆和各个象限中的位置标记组成。为了确定校准图案上校准点在图像中的位置，首先把校准图案和图像中的对象及背景分开，接下来处理抽取的校准图案，找出校准点。更具体地说，处理抽取的校准图案，从而通过分析计算投射的径向线段和两个椭圆(由校准图案中的圆产生)的交点在图像中的位置。但是该方法存在若干问题。具体地说，处理计算量大和/或耗时，需要把关于对象的图像数据和关于校准图案的图像数据分开，并且需要估计线段和两个椭圆(在图像中这两个椭圆不再同心)的参数。此外，为使该方法获得成功，在图像中必须看得见每个椭圆120°的一段圆弧，并且不得不检测至少一个位置标记及其相邻的两条线段。Gortler等在“The Lumigraph”Computer Graphics Proceedings，Annual Conference Series，1996 ACM-0-89791-746-4/96/008)中公开一种通过记录校准平台上所需对象的图像，估计照相机的姿态(僵直旋转和平移)的方法。该平台具有以适当的角度固定在一起的两个薄壁，以及可从薄壁上拆下并且可以90°增量旋转的底部。沿平台的侧面和底部分布多个标记，每个标记由几个同心环组成。为了确定标记在图像中的位置以便进行姿态估计，处理该图像确定具有相似重心的连接部分。随后，各个标记中半径的比值用于唯一地确定该标记。但是该方法也存在若干问题。具体地说，识别标记需要计算各个圆圈的半径，所述半径可能不准确，尤其对于倾斜的照相机姿态来说更是如此，从而导致标记的误识别。此外，构成各个标记的若干圆圈的使用要求标记较大，增大至少一部分标记被对象遮蔽的可能性，从而妨碍识别标记。另外，各个标记只提供一点(同心圆的中心)供计算照相机姿态之用，并且由于如同上面提及的“Automatic Reconstruction of3D Objects Using a Mobile Camera”中所述，由于透视投影的缘故图中各个圆圈不具有相同的中心，因此可确定该点在该图像中的位置的准确性受到限制。于是会降低计算的照相机姿态的准确性。JP-A-9-170914公开一种通过对对象和平面校准对象一起成像，计算图象检取参数并生成该对象的3D计算机模型的方法。校准对象具有彩色圆点图案，每个圆点具有不同的色调/亮度组合，从而各个圆点是唯一的。圆点之间的位置关系已知，并且通过在表示对象和校准对象的图像中识别各个圆点，计算该图像的图像检取参数并产生该对象的3D计算机模型。但是该方法同样存在若干问题。具体地说，由于大量的圆点及它们之间在色调/亮度方面的细微差别，难以在图像中区分校准对象上的相应圆点。此外由于要被建模的对象上的特征通常具有和校准对象上的圆点相同的色调/亮度特性，因此一般不能确定图像中的特定特征是校准对象上的圆点还是要被建模的对象上的特征。本专利技术的目的是解决一个或多个上述问题。根据本专利技术，提供一种同时对主体对象和校准对象成像，并且处理各个图像以确定图像被记录的位置和方位的图像处理系统或方法。校准对象具有由多个特征组成的图案，至少一些特征被分为多组，从而一组中的特征满足至少两种关系。在图像数据的处理中，通过利用特征组中各个特征之间的不同关系，区分图像中代表校准对象上特征的特征和图像中代表主体对象上特征的特征。这些环节提供图像中校准图案特征的可靠检测，使得能够准确地计算图像的位置和方法。这种可靠性源于特征的分组可用于区分图像中代表校准对象上特征的特征和其它特征。每个特征可确定校准对象上的相应位置，并且可确定图像中和校准对象中每个特征之间的一一对应。这提供了大量的对应关系，借助这些对应关系计算成像位置和方位，从而提高准确性。为使图像中的检测更容易，校准对象的一些特征看起来大体相同。可任意指派并测试图像中特征和校准对象上特征之间的一一对应，重复这些步骤若干次以确定正确的对应关系。另一方面，校准对象可被布置成使一些特征和/或一些特征组可在视觉上和其它特征和/或特征组区分开，并可在检测图像中可区分的特征/特征组之后通过计算指定一一对应关系。当处理图像时，可把图像中的特征分成多个特征组，每个特征组具有相同预定数目的特征。可提供校准对象上的图本文档来自技高网...

【技术保护点】
一种从不同位置和方位记录主题对象的图像，并处理记录的图像数据以确定图像被记录的位置和方位的图像处理系统，所述系统包括：和主题对象一起成像的校准对象，校准对象具有包括若干离散特征的图案，每个特征确定校准对象上的相应位置，至少一些特征被分为多个特征组，使得指定特征组中的特征至少满足第一和第二特征组关系，每种特征组关系至少以特征组中特征的颜色、形状、大小、位置和连通性之一为基础；记录图像的成像设备，每个图像中至少同时显示主题对象和校准对象的一部分；和处理成像设备记录的图像数据，确定图像被记录时成像设备的位置和方位的图像数据处理设备，所述图像数据处理设备包括：处理确定图像的图像数据，至少根据第一特征组关系检测图像中可能代表校准对象上特征组的候选特征组的装置；处理候选特征组，从而通过确定哪些候选特征组包含至少满足第二特征组关系的特征，把图像中其中所有特征代表校准对象上特征的特征组和图像中包含不代表校准对象上特征的至少一个特征的特征组区分开的装置；指定图像中至少一些点和校准对象上的点之间的一一对应的装置；至少根据部分一一对应，计算图像被记录的位置和方位的装置。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：理查德I泰勒，理查德A柯克，亚当M包姆博格，亚历山大R莱昂斯，艾伦J戴维森，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：JP[日本]