信息处理器以及信息处理方法技术

信息处理设备从成像设备获取立体图像。位置信息生成单元(46)中的检测平面定义单元(60)在第一照相机的照相机坐标系的3D空间中定义检测平面，并通过投影到第一照相机拍摄的左图像的平面上计算检测区的顶点坐标。特征计算单元(62)生成左右图像的特征图像。视差校正区导出单元(64)导出如下区域作为视差校正区：只让右图像中与左图像中的检测区相同的区域向左移动与检测平面的位置深度相对应的视差的数量而获得的区域。匹配单元(68)块匹配每个区域的特征图像，并导出高评价特征。位置信息输出单元(70)根据匹配结果生成并输出由输出信息生成单元(50)使用的信息。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及根据所摄图像进行处理的信息处理器以及该信息处理器使用的信息处理方法。
技术介绍
近年来，将照相机并入个人计算机或游戏控制台中捕获用户的图像以便以多种形式使用已经司空见惯。例如，像TV电话和视频聊天那样目前已经商用的一些技术被设计成以“原样”方式将用户的图像发送给另一端。其它技术通过图像分析识别用户的运动，并将这样的运动作为输入信息用于游戏和信息处理(参照，例如，PTL I)。 进一步，近年来，通过高精度地在包括深度方向上的三维空间中检测用户的运动，可以提供更好的现实感和图像表示。在适用于在深度方向检测目标的位置的商用技术当中的是使用通过立体照相机拍摄的左右图像之间的视差的那些技术和适用于分析发射红外光束的反射时间或红外图像的其它技术。 [引用列表] [专利文献] [PTL I] WO 2007/050885A2 公开
技术实现思路
[技术问题] 使用立体照相机的传统技术可能导致受像光源那样的成像环境的变化影响的测量结果。进一步，为了使精度更高而提高照相机的分辨率导致左右为难的窘境，即，更高的计算成本和作为其结果使响应变得更慢的更大可能性。另一方面，使用红外光束的技术分别需要红外传感器和专用照相机系统，导致高的制造成本和大的功耗。 本专利技术就是鉴于上述情况而设想的，本专利技术的目的是提供可以高精度和迅速响应地以及低成本地在三维空间中使用目标位置实现信息处理的技术。 [问题的解决方案] 本专利技术的一种方式涉及信息处理器。该信息处理器使用所摄图像在三维空间中检测测量目标的位置。该信息处理器包括图像获取部分、检测平面定义部分、视差校正区导出部分、匹配部分、和检测结果输出部分。该图像获取部分获取利用以彼此相距给定距离安排的第一和第二照相机并行捕获测量目标而获得的立体图像数据。该检测平面定义部分在三维空间中定义检测平面并建立检测区。该检测区是通过将检测平面投影到第一照相机拍摄的图像，即，立体图像之一上而获得的。该视差校正区导出部分在第二照相机拍摄的图像，gp，立体图像之一中导出视差校正区。该视差校正区是通过在消除视差的方向将与检测区相同的区域移动与通过检测平面在深度方向上的位置确定的视差的幅度一样多的数量而导出的。该匹配部分进行第一照相机拍摄的图像的检测区的图像与第二照相机拍摄的图像的视差校正区的图像之间的匹配。该检测结果输出部分输出该匹配部分进行匹配的结果。 本专利技术的另一种方式涉及信息处理方法。该信息处理方法被信息处理器用于使用所摄图像在三维空间中检测测量目标的位置。该信息处理方法包括获取利用以彼此相距给定距离安排的第一和第二照相机并行捕获测量目标而获得的立体图像数据的步骤。该信息处理方法包括在三维空间中定义检测平面并建立检测区的另一个步骤。该检测区是通过将检测平面投影到第一照相机拍摄的图像，即，立体图像之一上而获得的。该信息处理方法包括在第二照相机拍摄的图像，即，立体图像之一中导出视差校正区的又一个步骤。该视差校正区是通过在消除视差的方向将与检测区相同的区域移动与通过检测平面在深度方向上的位置确定的视差的幅度一样多的数量而导出的。该信息处理方法包括进行第一照相机拍摄的图像的检测区的图像与第二照相机拍摄的图像的视差校正区的图像之间的匹配的又一个步骤。该信息处理方法包括使用匹配的结果生成图像以及将图像显示在显示设备上的又一个步骤。 应当注意到，上述组件的任何组合和本专利技术的表达在“方法”、“设备”、“系统”、“计算机程序”、“存储计算机程序的记录介质”等之间的任何转换也可有效地作为本专利技术的方式。 [本专利技术的有利效果] 本专利技术低成本地以及高精度地实现将所摄图像用作输入信息的信息处理。 【附图说明】 图1是例示本实施例可应用的信息处理系统的配置例子的示图； 图2是例示本实施例中的信息处理器的内部电路配置的示图； 图3是例示本实施例中的成像设备和信息处理器的配置的示图； 图4是描述在本实施例中定义的检测平面的示图； 图5是描述本实施例中的立体图像视差与测量目标在深度方向上的位置之间的关系的不图； 图6是描述视差D随图5中的距离Z变化而变化的示图； 图7是详细例示本实施例中的位置信息生成部分的配置的示图； 图8是描述本实施例中建立检测平面的例子的示图； 图9是例示在显示在图8中的环境中拍摄的立体图像的例子的示图； 图10是描述本实施例中建立检测平面的另一个例子的示图； 图11是例示在显示在图10中的环境中拍摄的立体图像的例子的示图； 图12是例示本实施例中主要与信息处理系统进行的所有信息处理的位置检测关联的处理的序列的流程图； 图13是描述具有周期性结构的对象的存在引起的错误确定的示图； 图14是描述本实施例中防止周期性结构的存在引起的位置检测精度的下降的技术的示图； 图15是描述本实施例中防止周期性结构的存在引起的检测精度的下降的另一种技术的示图； 图16是描述本实施例中检测天花板和地板平面的技术的示图； 图17是例示位置信息生成部分为检测例示在图16中的天花板和地板平面而进行的处理的序列的流程图； 图18是例示本实施例中总体定义具有剪裁成一个人的形状的模型形状的多个检测平面的例子的示图；以及 图19是例示本实施例中校正信息处理器时用的系统配置的示图。 【具体实施方式】 图1例示了本实施例可应用的信息处理系统的配置例子。信息处理系统2包括成像设备12、信息处理器10、和显示设备16。成像设备12含有适用于捕获像用户I那样的目标的两台照相机。信息处理器10根据所摄图像，响应于用户的请求进行信息处理。显示设备16输出作为信息处理器10进行的处理的结果而获得的图像数据。进一步，我们假设信息处理器10可以与像互联网那样的网络18连接。 信息处理器10、成像设备12、显示设备16、和网络18可以通过电缆连接在一起。可替代地，它们可以无线地，例如，通过无线LAN(局域网)连接在一起。成像设备12、信息处理器10和显示设备16的任何两个或其所有可以组合成整体。可替代地，成像设备12无需必须布置在显示设备16的顶部。进一步，对被摄物的数量的类型没有限制。 成像设备12含有其间具有已知间隔地一台在左侧另一台在右侧排列的两台数字摄像机。每台数字摄像机包括CCD(电荷耦合器件)、CM0S(互补金属氧化物半导体)、或其它成像元件。每台数字摄像机以给定帧速率从左或右位置捕获存在于相同空间中的被摄物。如上所述拍摄获得的帧对在下文中将被称为“立体图像”。 信息处理器10在包括图像平面和相对于照相机的深度方向上的三维空间中检测被摄物的位置。将检测结果用于在将被摄物的位置和运动用作输入信息的随后阶段中进行的处理。例如，将检测结果用于实现在所摄图像中描绘在用户I的肩上或掌上飞行的虚拟物体的AR(增强现实)。可替代地，可以跟踪用户I的运动，以便在游戏图像中反映该运动或将该运动转换成用作信息处理的命令输入。因此，其应用目的不受限制。 显示设备16将信息处理器10进行的处理的结果显示成图像。显示设备16可以是适用于输出图像的显示器或含有适用于输出声音的扬声器的电视机。显示设备16可以是，例如，液晶显示器、等离子电视、或PC显示器。信息处本文档来自技高网...

【技术保护点】
一种使用所摄图像在三维空间中检测测量目标的位置的信息处理器，该信息处理器包含：图像获取部分，适用于获取利用以彼此相距给定距离安排的第一和第二照相机并行捕获测量目标而获得的立体图像数据；检测平面定义部分，适用于在三维空间中定义检测平面并建立通过将检测平面投影到第一照相机拍摄的图像，即，立体图像之一上而获得的检测区；视差校正区导出部分，适用于通过在消除视差的方向将与检测区相同的区域移动与通过检测平面在深度方向上的位置确定的视差的幅度一样多的数量，在第二照相机拍摄的图像，即，立体图像之一中导出视差校正区；匹配部分，适用于进行第一照相机拍摄的图像的检测区的图像与第二照相机拍摄的图像的视差校正区的图像之间的匹配；以及检测结果输出部分，适用于输出该匹配部分进行匹配的结果。

【技术特征摘要】
【国外来华专利技术】2012.05.22 JP 2012-1169931.一种使用所摄图像在三维空间中检测测量目标的位置的信息处理器，该信息处理器包含: 图像获取部分，适用于获取利用以彼此相距给定距离安排的第一和第二照相机并行捕获测量目标而获得的立体图像数据； 检测平面定义部分，适用于在三维空间中定义检测平面并建立通过将检测平面投影到第一照相机拍摄的图像，即，立体图像之一上而获得的检测区； 视差校正区导出部分，适用于通过在消除视差的方向将与检测区相同的区域移动与通过检测平面在深度方向上的位置确定的视差的幅度一样多的数量，在第二照相机拍摄的图像，g卩，立体图像之一中导出视差校正区； 匹配部分，适用于进行第一照相机拍摄的图像的检测区的图像与第二照相机拍摄的图像的视差校正区的图像之间的匹配；以及 检测结果输出部分，适用于输出该匹配部分进行匹配的结果。2.如权利要求1所述的信息处理器，其中 当检测平面在深度方向上的位置跨过检测平面不同时，该视差校正区导出部分通过在第二照相机拍摄的图像中计算与检测区相同的区域的每个顶点的视差的幅度，并将每个顶点移动与视差的幅度一样多的数量来导出视差校正区。3.如权利要求1或2所述的信息处理器，进一步包含: 区域剪切部分，适用于进行纹理映射，以保证第一照相机拍摄的图像的检测区的图像和第二照相机拍摄的图像的视差校正区的图像具有相同尺寸。4.如权利要求1到3的任何一项所述的信息处理器，其中 该检测平面定义部分在三维空间中的给定范围上定义多个检测平面， 该视差校正区导出部分导出每个检测平面的视差校正区， 该匹配部分进行每个检测平面的匹配，以及 该检测结果输出部分提取具有最高匹配评价值的检测平面并确定测量目标处在所提取检测平面上。5.如权利要求4所述的信息处理器，其中 该检测平面定义部分在三维空间中以相对于给定轴的不同旋转角定义多个检测平面。6.如权利要求1到5的任何一项所述的信息处理器，其中 该图像获取部分获取以给定帧速率拍摄的立体图像，以及 该匹配部分在使用与同一照相机前一次拍摄的图像比较生成的运动差分图像禁用了除运动区域之外的每个图像的区域之后进行匹配。7.如权利要求1到3的任何一项所述的信息处理器，其中 该检测平面定义部分定义每一个用于多个测量目标之一的多个检测平面， 该视差校正区导出部分导出每个检测平面的视差校正区，以及该匹配部分通过进行每个检测平面的匹配，并且在在一个检测平面上具有比阈值高的匹配评价值的所有点当中，禁用在其它检测平面上也具有高匹配评价值的点，来产生每个测量目标的匹配结果。8.如权利要求1到7的任何一项所述的信息处理器，其中 该匹配部分将具有比阈值高的匹配评价值的点识别为用作存在于检测平面上的测量目标的一部分，该信息处理器进一步包含: 输出信息生成部分，适用于在所摄图像上描绘虚拟物体，以及以如下的方式将虚拟物体显示在显示设备上:当用作测量目标的该部分存在于检测平面之上时，前面是与检测平面相同的平面的虚拟物体部分与测量目标相互作用。9.如权利要求1到8的任何一项所述的信息处理器，其中 该检测平...

【专利技术属性】
技术研发人员：大场章男，势川博之，稻田彻悟，
申请(专利权)人：索尼电脑娱乐公司，
类型：发明
国别省市：日本;JP