信息处理装置、信息处理方法以及图像显示系统制造方法及图纸

本发明专利技术处理从安装在运动装置上或用户身上的相机中捕捉的图像，以便使所述图像与在固定至用户的头部或脸部的图像显示装置上的显示器兼容。绘制单元1042首先使用相机姿势角qc校正(F1421)用户的头部姿势角qh，然后，从所述捕捉的图像中切去对应于用户的校正的头部姿势角qh*的显示视角，并且渲染(F1422)自由视点图像。图像处理装置1040通过通信单元1041将由所述绘制单元1042渲染的自由视点图像发送给显示装置1020，并且由显示装置1020显示(F1430)所述自由视点图像。

Information processing apparatus, information processing method, and image display system

The present invention processes images captured from a camera mounted on a moving device or a user, so that the image is compatible with a display on an image display device fixed to a user's head or face. 1042 the first drawing unit using the camera pose angle correction QC (F1421) the user's head pose angle QH, and then display the visual angle images captured from the corresponding cut in the user's head pose angle correction qh* (F1422), and render free viewpoint images. An image processing apparatus 1040 transmits a free viewpoint image rendered by the rendering unit 1042 to a display device 1020 via a communication unit 1041, and displays the free viewpoint image (F1430) by a display device.

【技术实现步骤摘要】
【国外来华专利技术】
在本文中公开的技术涉及一种信息处理装置、信息处理方法以及图像显示系统，允许处理由安装在运动物体装置上或用户身上的相机捕捉的图像。
技术介绍
众所周知固定至观察图像的用户的头部或脸部的图像显示装置，即，头戴式显示器。头戴式显示器在右眼和左眼上具有图像显示单元并且被配置成能够与头戴式耳机一起使用，控制视觉和听觉。在戴在头上时完全阻挡外部世界的配置在查看期间增强虚拟现实。而且，头戴式显示器能够在左眼和右眼上均具有投射不同的视频图像，并且通过在左眼和右眼上显示具有视差的图像，能够呈现3D图像。这种类型的头戴式显示器在眼睛的视网膜上形成虚拟图像，以允许用户观察该图像。在这方面，在物体比焦距更接近透镜的情况下，在物体的侧边形成虚拟图像。在一个实例中，开发了一种头戴式显示器，通过将广角的虚拟图像光学系统放置成与瞳孔的前面相距25毫米并且将具有大约0.7英寸的有效像素范围的尺寸的显示面板进一步放在广角光学系统前面，该显示器在用户的瞳孔上形成显示的图像的放大虚拟图像(例如，参考专利文献1)。而且，用户能够使用这种类型的头戴式显示器观察通过缩减一部分广角图像所获得的图像。在一个实例中，开发了一种头戴式显示器，该显示器允许通过在头上安装包括陀螺仪传感器等的头部运动跟踪装置并且促使其跟踪用户的头部的运动来实现360°的全空间的视频图像的现实体验(例如，参考专利文献2和3)。在广角图像内的显示区域运动，以消除由陀螺仪传感器检测的头部运动，可以再现跟踪头部运动的图像，因此，用户具有犹如看到整个空间的全景的体验。而且，还众所周知第一人称视角(FPV)技术，这些技术在查看由安装在无线电控制的装置(例如，直升机)上的无线相机拍摄的第一人称视点(飞行员视点)时引航。在一个实例中，开发了由装有图像捕捉装置的运动物体以及通过操作员的操作远程控制运动物体的可穿戴式PC构成的运动物体控制装置(例如，参考专利文献4)。运动物体侧接收控制运动物体的操作的信号，以控制其自身的操作，接收控制安装在其上的图像捕捉装置的信号，以控制图像捕捉操作，并且将从图像捕捉装置中输出的视频和音频信号传输给可穿戴式PC。同时，可穿戴式PC侧生成响应于操作员的操作控制运动物体的操作的信号，生成响应于操作员的声音控制图像捕捉装置的操作的信号。可穿戴式PC侧将生成的信号无线传输给运动物体，无线接收从图像捕捉装置中输出的信号，再现视频信号，并且在监视屏上显示该信号。而且，开发了一种网络系统，其中，装有用于中长距离的三维立体相机以及用于短距离的三维立体相机的无线电控制的汽车传输三维合成图像，以在控制器侧显示(例如，参考专利文献5)。开发了一种网络系统，其中，模型装置捕捉在模型装置前面的区域的图像，并且控制器侧接收关于模型装置的图像、位置以及方向的信息，基于位置和方向生成虚拟图像，并且显示该虚拟图像(例如，参考专利文献6)。引用列表专利文献专利文献1：JP2012-141461A专利文献2：JPH9-106322A专利文献3：JP2010-256534A专利文献4：JP2001-209426A专利文献5：JP2012-151800A专利文献6：JP2012-143447A
技术实现思路
技术问题在本文中公开的技术的一个目标在于，提供一种信息处理装置、信息处理方法以及图像显示系统，其能够优选地处理由安装在运动物体装置上或用户身上的相机捕捉的图像。而且，在本文中公开的技术的另一个目标在于，提供一种改进的信息处理装置、信息处理方法以及图像显示系统，其能够处理由相机捕捉的图像，以在固定至用户的头部或脸部的图像显示装置上适当地显示。问题的解决方案鉴于该问题，设计在本文中公开的技术，其第一方面是一种信息处理装置，包括：头部姿势获取单元，被配置成获取关于用户的头部姿势的信息；相机姿势获取单元，被配置成获取关于相机的姿势的信息；以及图像渲染处理器，被配置成基于用户的头部姿势和相机的姿势由相机所捕捉的图像生成要在显示装置上显示的图像，所述显示装置被固定至用户的头部或脸部。根据在本文中公开的技术的第二方面，在根据第一方面的信息处理装置中，所述相机安装在运动物体装置上。根据在本文中公开的技术的第三方面，根据第一和第二方面中任一项的信息处理装置的相机被配置成捕捉全向图像或广角图像，并且所述图像渲染处理器被配置成使用相机在捕捉时的姿势校正用户的头部姿势并且从生成通过根据用户的校正后的头部姿势由相机所捕捉的图像缩减视角所获得的图像。根据在本文中公开的技术的第四方面，在根据第一方面的信息处理装置中，所述相机固定安装在用户的头部或脸部。根据在本文中公开的技术的第五方面，根据第四方面的信息处理装置的图像渲染处理器被配置成生成通过根据第一转换参数由相机所捕捉的图像缩减视角所获得的图像，所述第一转换参数用于将相机的姿势转换成用户的头部姿势。根据在本文中公开的技术的第六方面，根据第五方面的信息处理装置的图像渲染处理器被配置成使用在相机执行捕捉时用户的头部姿势以及预测的在经过直到在显示装置上显示图像的延迟时间之后用户的头部姿势执行图像生成。根据在本文中公开的技术的第七方面，根据第一方面的信息处理装置的图像渲染处理器被配置成基于由相机捕捉的时间序列图像的数据，构造周围环境的三维模型，估计在三维模型中的相机的当前位置，使用用于将相机的位置和姿势转换成用户的眼球的位置和姿势的第二转换参数，预测在经过从相机的捕捉到在显示装置上的显示的延迟时间之后用户的眼球的位置和姿势，并且由三维模型生成在眼球的预测位置和姿势中捕捉的图像。根据在本文中公开的技术的第八方面，根据第一方面的信息处理装置进一步包括：控制器，被配置成远程操作所述运动物体装置；以及滤波器，被配置成限制所述运动物体装置的轨迹并且切断所述控制器的除了所限制的轨迹以外的输入。所述控制器的输入被配置成在沿着所限制的轨迹的方向被转换成位置命令、速度命令或加速度命令，并发送给所述运动物体装置。根据在本文中公开的技术的第九方面，通过以下方式配置根据第八方面的信息处理装置，在所述运动物体装置的轨迹被限制为直线运动时，所述滤波器切断来自所述控制器的除了前后方向以外的输入，并且将保持直线运动的轨迹的命令发送给所述运动物体装置。根据在本文中公开的技术的第十方面，通过以下方式配置根据第九方面的信息处理装置，所述轨迹被设置为运动物体通过当前点朝向当前行驶方向的直线或者连接所述运动物体装置的当前点和目的点的直线。根据在本文中公开的技术的第十一方面，通过以下方式配置根据第八方面的信息处理装置，在所述运动物体装置的轨迹限制为圆周运动时，所述滤波器切断来自所述控制器的除了左右方向以外的输入，并且将保持圆周运动的轨迹的命令发送给所述运动物体装置并且控制朝着目的点引导所述运动物体装置的姿势。根据在本文中公开的技术的第十二方面，通过以下方式配置根据第十一方面的信息处理装置，所述轨迹设置为穿过以目的点为中心的运动物体装置的当前点的圆周运动或者通过以和目的点相交的垂直轴为中心的运动物体装置的当前点的在水平面内的圆周运动。根据在本文中公开的技术的第十三方面是一种信息处理方法，所述方法包括：头部姿势获取步骤，用于获取关于用户的头部姿势的信息；相机姿势获取步骤，用于获取关于相机的姿势的信息；以及图像渲染处理步骤本文档来自技高网...

【技术保护点】
一种信息处理装置，包括：头部姿势获取单元，被配置为获取关于用户的头部姿势的信息；相机姿势获取单元，被配置为获取关于相机的姿势的信息；以及图像渲染处理器，被配置为基于所述用户的头部姿势和所述相机的姿势由所述相机所捕捉的图像生成要在显示装置上显示的图像，所述显示装置被固定至所述用户的头部或脸部。

【技术特征摘要】
【国外来华专利技术】2014.07.31 JP 2014-1558821.一种信息处理装置，包括：头部姿势获取单元，被配置为获取关于用户的头部姿势的信息；相机姿势获取单元，被配置为获取关于相机的姿势的信息；以及图像渲染处理器，被配置为基于所述用户的头部姿势和所述相机的姿势由所述相机所捕捉的图像生成要在显示装置上显示的图像，所述显示装置被固定至所述用户的头部或脸部。2.根据权利要求1所述的信息处理装置，其中，所述相机安装在运动物体装置上。3.根据权利要求1和2中任一项所述的信息处理装置，其中，所述相机捕捉全向图像或广角图像，以及所述图像渲染处理器使用所述相机在捕捉时的姿势校正所述用户的头部姿势，并且生成通过根据所述用户的校正后的头部姿势由所述相机所捕捉的图像缩减视角所获得的图像。4.根据权利要求1所述的信息处理装置，其中，所述相机固定安装在所述用户的头部或脸部。5.根据权利要求4所述的信息处理装置，其中，所述图像渲染处理器生成通过根据第一转换参数由相机所捕捉的图像缩减视角所获得的图像，所述第一转换参数用于将所述相机的姿势转换成所述用户的头部姿势。6.根据权利要求5所述的信息处理装置，其中，所述图像渲染处理器使用在相机执行捕捉时所述用户的头部姿势以及预测的在经过直到在显示装置上显示图像的延迟时间之后所述用户的头部姿势执行图像生成。7.根据权利要求4所述的信息处理装置，其中，所述图像渲染处理器基于由相机捕捉的时间序列图像的数据，构造周围环境的三维模型，估计在三维模型中所述相机的当前位置，使用用于将相机的位置和姿势转换成用户的眼球的位置和姿势的第二转换参数，预测在经过从相机的捕捉到在显示装置上的显示的延迟时间之后用户的眼球的位置和姿势，并且由三维模型生成在眼球的预测位置和姿势中捕捉的图像。8.根据权利要求1所述的信息处理装置，进一步包括：...

【专利技术属性】
技术研发人员：河本献太，辰田宽和，小山裕一郎，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP