立体匹配系统中的预处理装置制造方法及图纸

提供了一种立体匹配系统中的预处理装置。在该预处理装置中，接收立体相机的坐标信息，实时指定图像的像素的新地址，并且使用像素的新地址和立体相机的权重信息来对左图像和右图像进行插值。

Preprocessing device in stereo matching system

A preprocessing device in a stereo matching system is provided. In the pretreatment device, receiving stereo camera coordinate information, a new real-time image of the specified pixel address, new address and stereo camera weight information and using pixel interpolating the left and right images.

【技术实现步骤摘要】
【国外来华专利技术】立体匹配系统中的预处理装置
本专利技术涉及一种用于预处理三维图像的技术，并且更具体地涉及一种在立体相机等中使用的立体匹配系统中的预处理装置。
技术介绍
如所周知的，人的视觉是用于获得周边环境信息的感官之一，并且可以通过双眼来识别对象的位置和距离。也就是说，将通过双眼接收的视觉信息合并为距离信息，以使得人能够自由移动而不会感到不便。当使用一种机构来实现人的视觉结构时，使用立体相机系统。在立体相机系统中，对使用两个相机所获得的图像执行立体匹配。在该情况下，两个相机的外部和内部结构彼此不同。因此，为了使两个相机的内部结构等同(equalize)，在常规立体匹配系统中，通过针对两个相机之间的差异创建参考表并且对两个相机中的每个相机应用该参考表中的值来执行预处理。然而，由于在使用参考表的常规立体匹配系统中应当使用多个非易失性存储器(ROM)，所以硬件尺寸增大并且硬件价格上涨。
技术实现思路
技术问题本专利技术旨在解决上述问题。因此，本专利技术的目的是提供一种立体匹配系统中的预处理装置，其中，将立体相机的权重信息设置为等同值，去除了非易失性存储器，并且实时计算像素的新地址，以使得能够在保持相同性能的同时降低硬件的尺寸和价格。解决方案根据本专利技术的一个方面，提供了一种预处理装置，该预处理装置包括：地址生成器，该地址生成器被配置成接收立体相机的坐标信息并且实时指定图像的像素的新地址；以及插值器，该插值器被配置成使用像素的新地址和立体相机的权重信息来对左图像和右图像进行插值。坐标信息可以包括左行位置、左列位置、右行位置以及右列位置。插值器可以包括：左插值器，该左插值器被配置成对左图像进行插值；以及右插值器，该右插值器被配置成对右图像进行插值。地址生成器可以使用坐标信息来实时指定左图像的像素的新地址，并且将左图像的像素的指定新地址提供给左插值器。地址生成器可以使用坐标信息来实时指定右图像的像素的新地址，并且将右图像的像素的指定新地址提供给右插值器。预处理装置还可以包括第一存储装置，该第一存储装置被配置成存储从立体相机接收的左图像和右图像。第一存储装置可以包括易失性存储器。权重信息可以被作为预定值提供给插值器。该预定值可以为大致0.25。插值器可以从地址生成器实时接收预定数目的像素的新地址，并且将权重信息应用于所述预定数目的像素的新地址以获得相应像素的平均值。插值器还可以包括第二存储装置，该第二存储装置被配置成存储从地址生成器实时接收的预定数目的像素的新地址。第二存储装置可以包括易失性存储器。有益效果如上所述，在根据本专利技术的立体匹配系统中的预处理装置中，去除了常规预处理装置中使用的非易失性存储器，以使得可以减小系统的尺寸并且降低成本。另外，通过使立体相机的权重信息等同为预定值来对图像进行校正，以使得能够简化插值器的用于校正图像的计算。此外，将指定像素的新地址的表达式用等同表达式来替代，从而简化了用于地址生成的计算。附图说明图1是示出立体匹配系统中的常规预处理装置的配置视图。图2是示出根据本专利技术的实施方式的立体匹配系统中的预处理装置的配置视图。图3是示出由立体匹配系统中的常规预处理装置输出的经校正图像的示例性视图。图4是示出由根据本专利技术的实施方式的立体匹配系统中的预处理装置输出的经校正图像的示例性视图。具体实施方式在下文中，参照其中示出本专利技术实施方式的附图来更全面地描述本专利技术。然而，本专利技术可以以许多不同形式来实施，并且不应当被理解为限于文中所阐述的实施方式。相反，提供这些实施方式以使得本公开内容是详尽的并且将向本领域的普通技术人员充分传达本专利技术的范围。将理解，虽然文中可能使用了术语“第一”、“第二”等来描述各种元件，但是这些元件并不应当受限于这些术语。这些术语仅用于将一个元件与另外的元件进行区分。因此，在不背离本专利技术的教导的情况下，以下所讨论的“第一”元件也可以被称为“第二”元件。将理解，当元件被称为“耦接”或“连接”至另外的元件时，该元件可以直接耦接或连接至其它元件，或者还可以存在中间元件。相反，当元件被称为“直接耦接”或“直接连接”至另外的元件时，不存在中间元件。文中所使用的术语仅是为了描述特定实施方式而并非意在限制本专利技术。当在文中使用时，除非上下文另外明确指明，否则单数形式“一(a)”、“一个(an)”和“该(the)”意在也包括复数形式。将进一步理解，在本说明书中使用时，术语“包括(include和/或including)”指定存在所提及的特征、整体、步骤、操作、元件和/或部件，但是并不排除存在和/或添加一个或更多个其它特征、整体、步骤、操作、元件、部件和/或它们的组。在附图中，为了清楚起见，放大了层、膜和区域的厚度。在全文中相同的附图标记指代相同元件。在下文中，首先将描述常规预处理装置，然后将参照附图来详细描述根据本专利技术的实施方式的预处理装置。图1是示出立体匹配系统中的常规预处理装置的配置视图。立体匹配系统中的常规预处理装置使用校正参数来校正分别从两个立体相机(未示出)提供的左图像和右图像，并且通过使左图像和右图像的核线(epipolarline)对准来输出经校正的左图像和右图像。该常规预处理装置包括预处理单元100和非易失性存储器单元200。非易失性存储器单元200包括左行位置存储装置210、左列位置存储装置220、左行权重存储装置230、左列权重存储装置240、右行位置存储装置250、右列位置存储装置260、右行权重存储装置270以及右列权重存储装置280。这样，非易失性存储器单元200存储坐标信息和权重信息，该坐标信息包括左行位置、左列位置、右行位置、右列位置等，该权重信息包括左行权重、左列权重、右行权重、右列权重等。左地址生成器110根据以下数学表达式使用左行位置存储装置210和左列位置存储装置220中存储的数据来估算地址。右地址生成器150根据以下数学表达式使用右行位置存储装置250和右列位置存储装置260中存储的数据来估算地址。数学表达式1[Math.1]x←(u-c'x)/f'xy←(v-c'y)/f'y数学表达式2[Math2][XYW]T←R-1×[xy1]T数学表达式3[Math.3]x'←X/Wy'←Y/W数学表达式4[Math.4]x"←x'(1+k1r2+k2r4+k3r6)+2p1x'y'+p2(r2+2x'2)y"←y'(1+k1r2+k2r4+k3r6)+p1(r2+2y'2)+2p2x'y'数学表达式5[Math.5]mapx(u,v)←x"fx+cxmapy(u,v)←y"fy+cy最终通过数学表达式5获得了分别由左地址生成器110和右地址生成器150输出的像素的地址。在该情况下，原始相机矩阵为其中，fx表示原始x轴比例因数，fy表示原始y轴比例因数，cx表示原始x轴主点，cy表示原始y轴主点。所生成的新的相机矩阵为其中，f'x表示新的x轴比例因数，f'y表示新的y轴比例因数，c'x表示新的x轴主点，c'y表示新的y轴主点。当假定图像的大小为N×M时，u表示从1至N的x轴像素索引，并v表示从1至M的y轴像素索引。左地址生成器110和右地本文档来自技高网...

【技术保护点】
一种预处理装置，包括：地址生成器，所述地址生成器被配置成接收立体相机的坐标信息并且实时指定图像的像素的新地址；以及左插值器和右插值器，所述左插值器和所述右插值器被配置成使用像素的新地址和所述立体相机的权重信息来对左图像和右图像分别进行插值，所述权重信息作为预定值被提供给所述左插值器和所述右插值器，其中，所述左插值器和所述右插值器中的每一个包括易失性存储器，并且其中，所述左插值器和所述右插值器分别从地址生成器接收四个像素的新地址且将所接收的新地址存储在所述左插值器的易失性存储器中和所述右插值器的易失性存储器中，并且使用所述四个像素的新地址和所述权重信息来对所述左图像和所述右图像进行插值，其中，所述四个像素包括顶像素、底像素、左像素和右像素。

【技术特征摘要】
【国外来华专利技术】2011.11.23 KR 10-2011-01231781.一种预处理装置，包括：地址生成器，所述地址生成器被配置成接收立体相机的坐标信息并且实时指定图像的像素的新地址；以及左插值器和右插值器，所述左插值器和所述右插值器被配置成使用像素的新地址和所述立体相机的权重信息来对左图像和右图像分别进行插值，所述权重信息作为预定值被提供给所述左插值器和所述右插值器，其中，所述左插值器和所述右插值器中的每一个包括易失性存储器，并且其中，所述左插值器和所述右插值器分别从地址生成器接收四个像素的新地址且将所接收的新地址存储在所述左插值器的易失性存储器中和所述右插值器的易失性存储器中，并且使用所述四个像素的新地址和所述权重信息来对所述左图像和所述右图像进行插值，其中，所述四个像素包括顶像素、底像素、左像素和右像素。2.根据权利要求1所述的预处理装置，其中，所述坐标信息包括左行位置、左列位置、右行位置以及右列位置。3.根据权利要求1所述的预处理装置，其中，所述地址生成器使用所述坐标信息来实时指定...

【专利技术属性】
技术研发人员：李峻瑞，
申请(专利权)人：LG伊诺特有限公司，
类型：发明
国别省市：韩国,KR