信息处理装置、信息处理方法和记录介质制造方法及图纸

本公开内容涉及使得能够向用户提供自然视听体验的信息处理装置、信息处理方法和记录介质。根据本发明专利技术，控制单元在基于用户的视点位置的三维坐标系上控制对包括具有距离信息的多个对象的二维图像的显示。控制单元基于用户的感兴趣区域中的对象的距离信息，来控制与视点位置在真实空间中的移动量相对应的二维图像的显示倍率。例如，本公开内容可以应用于提供全向图像的HMD。提供全向图像的HMD。提供全向图像的HMD。

Information processing apparatus, information processing method, and recording medium

【技术实现步骤摘要】
【国外来华专利技术】信息处理装置、信息处理方法和记录介质


[0001]本公开内容涉及信息处理装置、信息处理方法和记录介质，并且具体地，涉及使得能够向用户提供更自然的观看体验的信息处理装置、信息处理方法和记录介质。

技术介绍

[0002]通过在佩戴在用户的头部上的头戴式显示器(HMD)上显示虚拟空间的图像来提供具有高度沉浸感的虚拟现实(VR)体验的常规技术是已知的。
[0003]专利文献1公开了一种呈现用于对虚拟空间中的预定区域执行缩放控制的图形用户接口(GUI)的技术。
[0004]引文列表
[0005]专利文献
[0006]专利文献1：日本专利申请特许公开第2019
‑
139673号

技术实现思路

[0007]本专利技术要解决的问题
[0008]在VR体验中，期望提供自然用户接口(NUI)而不是GUI。例如，期望用户在真实空间中的向前和向后的移动反映在对虚拟空间中的对象的缩放控制中。
[0009]在VR体验中，例如，在三维地投影诸如全向图像的二维图像的情况下，提供反映用户的视点(头部)的旋转的三自由度(3DoF)的观看体验。然而，在三维地投影的二维图像中，由于用户的视点在前后方向、左右方向和上下方向上的平移移动没有如在6DoF中那样反映，因此存在用户感觉到不舒服的可能性。
[0010]鉴于这样的情况做出了本公开内容，并且本公开内容的目的是使得能够向观看三维地投影的二维图像的用户提供更自然的观看体验。
[0011]问题的解决方案
[0012]本公开内容的信息处理装置是一种信息处理装置，该信息处理装置包括：控制单元，其在以用户的视点位置为基准的三维坐标系中控制对包括具有距离信息的多个对象的二维图像的显示，其中，控制单元基于作为用户的感兴趣区域的对象的距离信息，来控制与该视点位置在真实空间中的移动量相对应的二维图像的显示倍率。
[0013]本公开内容的信息处理方法是一种信息处理方法，该信息处理方法包括：通过信息处理装置进行以下操作：在以用户的视点位置为基准的三维坐标系中控制对包括具有距离信息的多个对象的二维图像的显示；以及基于作为用户的感兴趣区域的对象的距离信息，来控制与该视点位置在真实空间中的移动量相对应的二维图像的显示倍率。
[0014]本公开内容的记录介质是一种记录有程序的计算机可读记录介质，该程序被配置成使得执行以下处理：在以用户的视点位置为基准的三维坐标系中控制对包括具有距离信息的多个对象的二维图像的显示；以及基于作为用户的感兴趣区域的对象的距离信息，来控制与该视点位置在真实空间中的移动量相对应的二维图像的显示倍率。
[0015]在本公开内容中，在以用户的视点位置为基准的三维坐标系中控制对包括具有距离信息的多个对象的二维图像的显示，并且基于作为用户的感兴趣区域的对象的距离信息来控制与该视点位置在真实空间中的移动量相对应的二维图像的显示倍率。
附图说明
[0016]图1是用于说明通过根据本公开内容的技术呈现二维图像的图。
[0017]图2是用于说明通过根据本公开内容的技术呈现二维图像的图。
[0018]图3是用于说明通过根据本公开内容的技术呈现二维图像的图。
[0019]图4是示出应用了根据本公开内容的技术的图像呈现系统的配置示例的图。
[0020]图5是用于说明图像在真实世界中的外观的图。
[0021]图6是用于说明图像在全向图像中的外观的图。
[0022]图7是示出根据本实施方式的HMD的外部配置的图。
[0023]图8是示出HMD的硬件配置示例的框图。
[0024]图9是示出HMD的功能配置示例的框图。
[0025]图10是用于说明全向图像的第一显示处理的流程图。
[0026]图11是用于说明全向图像的半径的变化的图。
[0027]图12是用于说明第一显示处理中的问题的图。
[0028]图13是用于说明全向图像的第二显示处理的流程图。
[0029]图14是用于说明全向图像的中心位置的移动的图。
[0030]图15是用于说明全向图像的中心位置的预期移动的图。
[0031]图16是用于说明第二显示处理中的问题的图。
[0032]图17是用于说明全向图像的第三显示处理的流程图。
[0033]图18是用于说明全向图像的第三显示处理的流程图。
[0034]图19是用于说明全向图像的中心位置在视点位置处的移动的图。
[0035]图20是示出计算机的配置示例的框图。
具体实施方式
[0036]在下文中，将描述用于实现本公开内容的模式(下文中称为实施方式)。注意，按如下顺序给出描述。
[0037]1.根据本公开内容的技术的概述
[0038]2.全向图像的呈现及其问题
[0039]3.HMD的配置
[0040]4.全向图像的第一显示示例
[0041]5.全向图像的第二显示示例
[0042]6.全向图像的第三显示示例
[0043]7.计算机配置示例
[0044]<1.根据本公开内容的技术的概述>
[0045](二维图像的呈现)
[0046]应用根据本公开内容的技术(本技术)的图像呈现系统在以用户的视点位置为基
准的三维坐标系中显示包括具有距离信息的多个对象的二维图像。
[0047]例如，如图1所示，在以用户10的视点位置U为原点的xyz坐标系中，在与用户10的视点位置U相距预定距离的位置处显示二维图像20。二维图像20不是包括计算机图形(CG)数据的三维图像，而是例如通过三维地投影通过对真实世界成像获得的二维数据而获得的图像。
[0048]二维图像20包括第一对象21和第二对象22。对象21和对象22中的每一个都具有距离信息。距离信息对应于例如在对二维图像20成像时摄像装置与对象21、22中的每一个之间的真实世界距离(实际距离)。在图1的示例中，假设对象22在真实世界中存在于比对象21远的位置处，并且在二维图像20中具有比对象21大的距离信息。
[0049]在应用本技术的图像呈现系统中，基于用户10的视线前方的对象的距离信息来控制与用户10的视点位置U在真实空间中的移动量相对应的二维图像20的显示倍率。具体地，在如图1中的箭头#1所示的那样用户10的视线在对象21上的情况与如箭头#2所示的那样用户的视线在对象22上的情况之间，使得与用户10的视点位置U的移动量相对应的二维图像20的显示倍率的变化量不同。
[0050]例如，在用户10的视线在对象21上的情况下，如图2所示，按照视点位置U接近二维图像20的量来放大并且显示二维图像20。
[0051]另一方面，在用户10的视线在对象22上的情况下，如图3所示，按照视点位置U接近二维图像20的量来放大并且显示二维图像20，并且显示倍率的变化量小于图2的示例中的变化量。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种信息处理装置，包括：控制单元，其在以用户的视点位置为基准的三维坐标系中控制对包括具有距离信息的多个对象的二维图像的显示，其中，所述控制单元基于作为所述用户的感兴趣区域的所述对象的距离信息，来控制与所述视点位置在真实空间中的移动量相对应的所述二维图像的显示倍率。2.根据权利要求1所述的信息处理装置，其中，第一对象和第二对象具有不同的距离信息，并且所述控制单元在所述感兴趣区域是所述第一对象的情况与所述感兴趣区域是所述第二对象的情况之间改变所述显示倍率的变化量。3.根据权利要求2所述的信息处理装置，其中，在所述第二对象的距离信息大于所述第一对象的距离信息情况下，当所述感兴趣区域是所述第二对象时，与所述感兴趣区域是所述第一对象的情况相比，所述控制单元减小所述显示倍率的变化量。4.根据权利要求1所述的信息处理装置，其中，所述二维图像是全向图像，并且所述控制单元通过基于作为所述感兴趣区域的所述对象的距离信息改变所述全向图像的半径，来控制与所述视点位置的移动量相对应的所述全向图像的显示倍率。5.根据权利要求4所述的信息处理装置，其中，所述距离信息是在对所述全向图像进行成像时摄像装置与所述对象之间的实际距离，并且所述控制单元将所述全向图像的半径与到存在所述感兴趣区域的所述对象的实际距离相匹配。6.根据权利要求5所述的信息处理装置，其中，所述控制单元以所述视点位置为中心来改变所述全向图像的半径。7.根据权利要求6所述的信息处理装置，其中，在所述视点位置从所述全向图像的中心位置移动的情况下，所述控制单元改变所述全向图像的半径，使得所述用户的观看区域在所述视点位置的移动之前和移动之后变得相同。8.根据权利要求7所述的信息处理装置，其中，所述控制单元基于移动之后的所述视点位置来移动所述全向图像的中心位置，以改变所述全向图像的半径。9.根据权利要求8所述...

【专利技术属性】
技术研发人员：杉原贤次，
申请(专利权)人：索尼集团公司，
类型：发明
国别省市：