图像处理设备、图像处理系统以及图像处理方法技术方案

一种图像处理设备包括：图像获取器，其获取通过摄像机拍摄获得的拍摄图像的数据；深度图像获取器，其获取通过将沿着深度方向被摄物相对于摄像机的距离表示成像素值获得的深度图像；以及第一对象检测器，其从拍摄图像或深度图像中检测第一对象的图像的区域。该图像处理设备进一步包括第二对象检测器，其根据第一对象的图像的区域和深度图像中的像素值检测第二对象的图像的区域；裁剪区判定器，其判定至少包括第一和第二对象的图像的区域的裁剪区；以及显示图像生成器，其通过使用裁剪区生成显示图像。

【技术实现步骤摘要】
图像处理设备、图像处理系统以及图像处理方法
本公开涉及根据拍摄的图像进行处理的图像处理设备、图像处理系统、以及由这种图像处理设备执行的图像处理方法。
技术介绍
近年来，将摄像机装在个人计算机、游戏机等上，将用户的外形成像以便以各种形式利用成像的外形正变得常见。例如，像可视电话和视频聊天那样，经由网络按原样将用户的图像发送给另一方的系统，以及通过图像分析识别用户的运动和将运动用作游戏或信息处理的输入信息的技术已投入实际使用中(参照，例如，国际专利公告第WO2007/050885A2)。而且，近年来，通过精确检测对象在包括深度方向的三维空间中的运动，使实现更加感觉到处在现实世界中的游戏和图像表达正成为可能。
技术实现思路
在拍摄存在多种对象，从图像中只确定所希望对象和跟踪其运动的空间时存在各种问题。例如，处理结果可能由于像光源那样的拍摄环境的变化而受到影响。而且，如果以提高的时间分辨率和空间分辨率进行对象检测处理以提高精度，则会使处理负担增加。结果是，从被摄物的拍摄到处理结果的输出会花费很长时间，对被摄物的运动的响应性会降低。需要本公开提供在使用对象的位置信息的图像处理中使位置检测容易高精度实现的技术。按照本公开的一个实施例，提供了一种图像处理设备。这种图像处理设备包括图像获取器，其被配置成获取通过摄像机拍摄获得的拍摄图像的数据；深度图像获取器，其被配置成获取通过将沿着深度方向被摄物相对于摄像机的距离表示成图像面上的像素值获得的深度图像；以及第一对象检测器，其被配置成根据形状或特征从拍摄图像或深度图像中检测第一对象的图像的区域。该图像处理设备进一步包括第二对象检测器，其被配置成根据深度图像中的第一对象的图像的区域和像素值检测第二对象的图像的区域；裁剪区判定器，其被配置成判定至少包括第一对象的图像的区域和第二对象的图像的区域的裁剪区；以及显示图像生成器，其被配置成通过与其它区域分开地使用拍摄图像中的裁剪区生成显示图像。按照本公开的另一个实施例，提供了一种图像处理系统。这种图像处理系统包括成像设备，其被配置成拍摄带有标记的被摄物的运动图像；以及图像处理设备，其被配置成根据拍摄运动图像的图像帧中标记的位置生成依据被摄物的运动而变化的显示图像。该成像设备作为运动图像按预定比率轮流拍摄在适合显示的拍摄条件下拍摄的用于显示的图像帧、和在适合图像处理设备检测标记的拍摄条件下拍摄的用于标记检测的图像帧。该图像处理设备含有标记检测器，其通过使用用于标记检测的图像帧检测标记；以及显示图像生成器，其通过使用用于显示的图像帧根据检测标记的位置进行图像处理生成显示图像。按照本公开的又一个实施例，提供了一种图像处理设备通过使用通过摄像机拍摄获得的拍摄图像生成显示图像的图像处理方法。该图像处理方法包括获取拍摄图像的数据，并将拍摄图像的数据存储在存储设备中；获取通过将沿着深度方向被摄物相对于摄像机的距离表示成图像面上的像素值获得的深度图像的数据，并将深度图像的数据存储在存储设备中；以及从存储设备中读出拍摄图像或深度图像的数据，并根据形状或特征从读取图像中检测第一对象的图像的区域。该图像处理方法进一步含有从存储设备中读出深度图像的数据，并根据第一对象的图像的区域和像素值从深度图像中检测第二对象的图像的区域；判定至少包括第一对象的图像的区域和第二对象的图像的区域的裁剪区；以及从存储设备中读出拍摄图像的数据，并与其它区域分开地使用裁剪区来生成显示图像，并将显示图像输出到显示设备。按照本公开的另一个实施例，提供了一种计算机程序。这种用于计算机的计算机程序包括获取通过摄像机拍摄获得的拍摄图像的数据；获取通过将沿着深度方向被摄物相对于摄像机的距离表示成图像面上的像素值获得的深度图像；根据形状或特征从拍摄图像或深度图像中检测第一对象的图像的区域；根据深度图像中的第一对象的图像的区域和像素值检测第二对象的图像的区域；判定至少包括第一对象的图像的区域和第二对象的图像的区域的裁剪区；以及通过与其它区域分开地使用拍摄图像中的裁剪区生成显示图像。按照本公开的另一个实施例，提供了一种计算机可读记录介质。这种记录计算机程序、该计算机程序用于计算机的计算机可读记录介质包括获取通过摄像机拍摄获得的拍摄图像的数据；获取通过将沿着深度方向被摄物相对于摄像机的距离表示成图像面上的像素值获得的深度图像；根据形状或特征从拍摄图像或深度图像中检测第一对象的图像的区域；根据深度图像中的第一对象的图像的区域和像素值检测第二对象的图像的区域；判定至少包括第一对象的图像的区域和第二对象的图像的区域的裁剪区；以及通过与其它区域分开地使用拍摄图像中的裁剪区生成显示图像。通过在方法、设备、系统、计算机程序、和记录计算机程序的记录介质当中转换本公开的上述组成元件和表达的任何组合获得的东西也可有效地作为本公开的实施例。按照本公开的实施例，可以容易地高精度实现利用拍摄图像的图像显示。附图说明图1是示出可以应用本公开的实施例的信息处理系统的配置例子的图；图2是示出本公开的实施例中的信息处理设备的内部电路配置的图；图3是示出本公开的实施例中的成像设备和信息处理设备的功能配置的图；图4是示出本公开的实施例中成像设备拍摄和信息处理设备获取的拍摄图像的例子的图；图5是示出本公开的实施例中成像设备的第一摄像机和第二摄像机拍摄的图像帧的时间变化的图；图6是说明立体图像中的视差与被摄物沿着深度方向的位置之间的关系的图；图7是说明本公开的实施例中拍摄空间中深度方向的轴的图；图8是示意性地示出本公开的实施例中深度图像获取器通过立体图像方法获取的深度图像的图；图9是示意性地示出本公开的实施例中位置信息获取器检测的各自图像的区域和裁剪区判定器判定的裁剪区的图；图10是示出本公开的实施例中显示图像生成器使用裁剪区生成的显示图像的一个例子的图；图11是示出本公开的实施例中显示图像生成器生成的显示图像的另一个例子的图；图12是示出本公开的实施例中显示图像生成器生成的显示图像的又一个例子的图；以及图13是示出本公开的实施例中信息处理系统按照用户的运动显示图像的处理过程的流程图。具体实施方式图1示出了可以应用本公开的实施例的信息处理系统的配置例子。信息处理系统2包括装有两台摄像机拍摄像用户那样的对象1的成像设备12、根据拍摄图像按照用户的请求进行信息处理的信息处理设备10、和输出作为信息处理设备10的处理结果获得的图像数据的显示设备16。可以允许信息处理设备16与像因特网那样的网络连接。信息处理设备10、成像设备12、和显示设备16可以通过有线电缆连接，或可以通过无线局域网(LAN)等无线连接。可以组合和整体安装信息处理设备10、成像设备12、和显示设备16的任何两种或所有三种。成像设备12不一定需要设置在显示设备16上。对被摄物的数量和类型没有限制。成像设备12具有将每一台包括，例如，电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)的成像元件的两台数字摄像机以已知间隔布置在左右侧的配置。两台数字摄像机的每一台以预定帧速率从左右位置的各自一个拍摄存在于相同空间中的被摄物。在下文中，以这种方式拍摄的帧对也被称为“立体图像”。信息处理设备10使用立体图像识别被摄物在包括图像面和沿着深度方向相对于摄像机的位置的三维空间中本文档来自技高网...

【技术保护点】
一种图像处理设备，包含：图像获取器，其被配置成获取通过摄像机拍摄获得的拍摄图像的数据；深度图像获取器，其被配置成获取通过将沿着深度方向被摄物相对于摄像机的距离表示成图像面上的像素值获得的深度图像；第一对象检测器，其被配置成根据形状或特征从拍摄图像或深度图像中检测第一对象的图像的区域；第二对象检测器，其被配置成根据深度图像中的第一对象的图像的区域和像素值检测第二对象的图像的区域；裁剪区判定器，其被配置成判定至少包括第一对象的图像的区域和第二对象的图像的区域的裁剪区；以及显示图像生成器，其被配置成通过与其它区域分开地使用拍摄图像中的裁剪区生成显示图像。

【技术特征摘要】
2013.06.07 JP 2013-1212421.一种图像处理设备，包含：图像获取器，其被配置成获取通过摄像机拍摄获得的拍摄图像的数据；深度图像获取器，其被配置成获取通过将沿着深度方向被摄物相对于摄像机的距离表示成图像面上的像素值获得的深度图像；第一对象检测器，其被配置成根据形状或特征从拍摄图像或深度图像中检测第一对象的图像的区域；第二对象检测器，其被配置成根据深度图像中的第一对象的图像的区域和像素值检测第二对象的图像的区域；裁剪区判定器，其被配置成判定至少包括第一对象的图像的区域和第二对象的图像的区域的裁剪区；显示图像生成器，其被配置成通过与其它区域分开地使用拍摄图像中的裁剪区生成显示图像；标记检测器，其被配置成从拍摄图像中检测被摄物带有的标记的图像的区域，其中该裁剪区判定器以裁剪区除了第一对象的图像的区域和第二对象的图像的区域之外，还包括标记的图像的区域的方式判定裁剪区，该图像获取器在每个图像帧的基础上获取摄像机拍摄的运动图像的数据作为拍摄图像，该图像帧周期性地包括在适合通过标记检测器检测标记的图像的区域的拍摄条件下拍摄的用于标记检测的图像帧，以及该标记检测器通过使用用于标记检测的图像帧检测标记的图像的区域。2.按照权利要求1所述的图像处理设备，进一步包含：信息处理器，其被配置成判定是否拍摄用于标记检测的图像帧和拍摄用于标记检测的图像帧的周期，并控制摄像机中的拍摄条件。3.按照权利要求1所述的图像处理设备，其中该显示图像生成器通过将裁剪区与另一个图像组合以及将预定对象绘制在与第一对象、第二对象、和标记的至少任一个相对应的位置上，生成显示图像。4.按照权利要求1所述的图像处理设备，其中该第一对象检测器通过对拍摄图像的脸部检测处理检测人的头部的图像的区域，以及该第二对象检测器检测深度图像中从头部的图像的区域延伸和具有落在预定范围内的像素值的区域作为人的身体的区域。5.按照权利要求1到3的任何一项所述的图像处理设备，其中该显示图像生成器通过对裁剪区赋予虚拟空间中相对于摄像机的深度值将裁剪区与其中绘制虚拟空间中的对象的图像组合，并通过比较裁剪区与对象之间的深度值进行隐...

【专利技术属性】
技术研发人员：横川裕，N多赛特，野田雅文，宫前雄生，
申请(专利权)人：索尼电脑娱乐公司，
类型：发明
国别省市：日本;JP