信息处理装置、信息处理方法以及程序制造方法及图纸

本技术涉及使声音图像可以设置在适当位置处的信息处理装置、信息处理方法以及程序。该信息处理设备设置有：计算单元，其基于通过声音图像定位而感知为存在于现实空间中的虚拟对象的声音图像的位置以及用户的位置来计算虚拟对象的声源相对于用户的相对位置；声音图像定位单元，其对声源执行声音信号处理，使得声音图像被定位在所计算的定位位置处；以及声音图像位置保持单元，其保持声音图像的位置，其中，如果在切换由虚拟对象生成的声音时，将在切换之后的声音的声音图像的位置设置为在继承切换之前的声音的声音图像的位置的位置处，则计算单元参照保持在声音图像位置保持单元中的声音图像的位置来计算声音图像的位置。该技术可应用于例如提供与虚拟角色对话的娱乐的信息处理装置。

Information processing device, information processing method and procedure

【技术实现步骤摘要】
【国外来华专利技术】信息处理装置、信息处理方法以及程序
本技术涉及信息处理装置、信息处理方法以及程序，并且具体地，涉及适合于应用于例如AR(增强现实)游戏等的信息处理装置、信息处理方法以及程序。
技术介绍
随着信息处理和信息通信技术的进步，计算机广泛普及并且还积极用于支持日常文件和娱乐。近来，计算机处理还用于娱乐领域，并且如刚刚描述的这样的娱乐不仅被在特定场所例如在办公室或在家工作的用户所利用，而且还被正在移动的用户所需要。关于移动期间的娱乐，例如，以下指定的PTL1提出了下述信息处理装置，在该信息处理装置中，响应于用户在移动期间身体的节奏来控制显示在屏幕上的角色的交互以获得用户的亲密感，以使得用户能够将移动本身作为娱乐来享受。引用列表专利文献[PTL1]日本专利特开第2003-305278号
技术实现思路
技术问题然而，在上面提及的PTL1中，由于角色的图像显示在显示屏幕上，因此在步行或跑步期间难以看到屏幕图像的情况下不能享受娱乐。此外，期望使用户可以在用于娱乐用户的信息处理装置上享受更长的时段。鉴于如上所述这样的情况，提出了本技术，并且使本技术可以娱乐用户。问题的解决方案本技术的一个方面的信息处理装置包括：计算部，其基于虚拟对象的声音图像的位置和用户的位置来计算虚拟对象的声源相对于用户的相对位置，该虚拟对象使得用户能够通过声音图像定位来感知该虚拟对象存在于现实空间中；声音图像定位部，其对声源执行声音信号处理，使得声音图像被定位在所计算的定位位置处；以及声音图像位置保持部，其保持声音图像的位置，并且其中，当要切换从虚拟对象发出的声音时，在将切换之后的声音的声音图像的位置设置为接替了切换之前的声音的声音图像的位置的位置的情况下，计算部参照被保持在声音图像位置保持部中的声音图像的位置来计算声音图像的位置。本技术的一个方面的信息处理方法包括以下步骤：基于虚拟对象的声音图像的位置和用户的位置来计算虚拟对象的声源相对于用户的相对位置，该虚拟对象使得用户能够通过声音图像定位来感知虚拟对象存在于现实空间中；对声源执行声音信号处理，使得声音图像被定位在所计算的定位位置处；以及更新所保持的声音图像的位置，并且其中，当要切换从虚拟对象发出的声音时，在将切换之后的声音的声音图像的位置设置为接替了切换之前的声音的声音图像的位置的位置的情况下，参照声音图像的所保持的位置来计算声音图像的位置。本技术的一个方面的程序用于使计算机执行包括以下步骤的处理：基于虚拟对象的声音图像的位置和用户的位置来计算虚拟对象的声源相对于用户的相对位置，该虚拟对象使得用户能够通过声音图像定位来感知虚拟对象存在于现实空间中；对声源执行声音信号处理，使得声音图像被定位在所计算的定位位置处；以及更新所保持的声音图像的位置，并且其中，当要切换从虚拟对象发出的声音时，在将切换之后的声音的声音图像的位置设置为接替了切换之前的声音的声音图像的位置的位置的情况下，参照声音图像的所保持的位置来计算声音图像的位置。在本技术的一方面的信息处理装置、信息处理方法和程序中，基于虚拟对象的声音图像的位置和用户的位置来计算虚拟对象的声源相对于用户的相对位置，该虚拟对象使得用户能够通过声音图像定位来感知虚拟对象存在于现实空间中，并且对声源执行声音信号处理使得声音图像被定位在所计算的定位位置处，并且更新声音图像的所保持的位置。此外，当要切换从虚拟对象发出的声音时，在将切换之后的声音的声音图像的位置设置为接替了切换之前的声音的声音图像的位置的位置的情况下，参照保持在声音图像位置保持部中的声音图像的位置来计算声音图像的位置。应当注意，信息处理装置可以是独立的装置，或者可以是配置了一个装置的内部块。此外，可以由通过传输介质的传输来提供程序，或者可以将程序作为在其上记录有该程序的记录介质来提供。专利技术的有益效果利用本技术的一个方面，它可以娱乐其用户。应当注意，本文中描述的有益效果不一定是限制性的，并且可以是本公开内容中公开的任何有益效果。附图说明[图1]图1是示出应用了本技术的信息处理装置的概述的视图。[图2]图2是描绘应用了本技术的信息处理装置的外观配置的示例的透视图。[图3]图3是描绘信息处理装置的内部配置的示例的框图。[图4]图4是示出用户的体格数据的视图。[图5]图5是示出信息处理装置的操作的流程图。[图6]图6是示出声音图像的视图。[图7]图7是示出声音图像动画的视图。[图8]图8是示出声音图像动画的视图。[图9]图9是示出声音图像动画的视图。[图10]图10是示出声音图像动画的视图。[图11]图11是示出内容的视图。[图12]图12是示出节点的配置的视图。[图13]图13是示出关键帧的配置的视图。[图14]图14是示出关键帧之间的插值的视图。[图15]图15是示出声音图像动画的视图。[图16]图16是示出声音图像动画的视图。[图17]图17是示出声音的接替的视图。[图18]图18是示出声音的接替的视图。[图19]图19是示出声音的接替的视图。[图20]图20是示出控制部的配置的视图。[图21]图21是示出控制部的操作的流程图。[图22]图22是示出控制部的操作的流程图。[图23]图23是示出记录介质的视图。具体实施方式在下文中，描述了用于执行本技术的模式(在下文中称为实施方式)。<根据本公开内容的实施方式的信息处理装置的概述>首先，参照图1描述根据本公开内容的实施方式的信息处理装置的概述。如图1所描绘的，根据本实施方式的信息处理装置1是例如能够佩戴在用户A的颈部上的颈带型信息处理装置，并且包括扬声器和各种传感器(加速度传感器、陀螺仪传感器、地磁传感器、绝对位置测量部等)。如刚刚描述的这样的信息处理装置1具有下述功能：通过用于在空间上设置声音信息的声音图像定位技术，使得用户能够感测到虚拟角色20真实地存在于现实空间中。应当注意，虚拟角色20是虚拟对象的示例。虚拟对象可以是诸如虚拟收音机或虚拟乐器的对象，可以使用在城市中生成噪声(例如，汽车的声音、铁路道口的声音、人群中的聊天声等)的对象等。因此，根据本实施方式的信息处理装置1使其可以基于用户的状态和虚拟角色的信息来适当地计算用于定位感测虚拟角色的声音的相对三维位置，并且然后以较高的真实度呈现虚拟对象在现实空间中的存在。具体地，例如，信息处理装置1可以基于用户A的高度和状态(站立、坐着等)以及虚拟角色的高度信息来计算用于定位虚拟角色的语音的相对高度，以执行声音图像定位，使得虚拟角色的尺寸实际上被用户感测到。此外，信息处理装置1可以响应于用户A的状态或运动来改变虚拟角色的声音，以实现将现实应用于虚拟角色的运动。此时，信息处理装置1基于声音的类型来执行控制，以定位虚拟角色的对应部分，使得虚拟角色的语本文档来自技高网...

【技术保护点】
1.一种信息处理装置，包括：/n计算部，其基于虚拟对象的声音图像的位置和用户的位置来计算所述虚拟对象的声源相对于所述用户的相对位置，所述虚拟对象使得所述用户能够通过声音图像定位来感知所述虚拟对象存在于现实空间中；/n声音图像定位部，其对所述声源执行声音信号处理，使得所述声音图像被定位在所计算的定位位置处；以及/n声音图像位置保持部，其保持所述声音图像的位置，其中/n当要切换从所述虚拟对象发出的声音时，在将切换之后的声音的声音图像的位置设置为接替了切换之前的声音的声音图像的位置的位置的情况下，所述计算部参照被保持在所述声音图像位置保持部中的声音图像的位置，以计算所述声音图像的位置。/n

【技术特征摘要】
【国外来华专利技术】20170731 JP 2017-1477221.一种信息处理装置，包括：
计算部，其基于虚拟对象的声音图像的位置和用户的位置来计算所述虚拟对象的声源相对于所述用户的相对位置，所述虚拟对象使得所述用户能够通过声音图像定位来感知所述虚拟对象存在于现实空间中；
声音图像定位部，其对所述声源执行声音信号处理，使得所述声音图像被定位在所计算的定位位置处；以及
声音图像位置保持部，其保持所述声音图像的位置，其中
当要切换从所述虚拟对象发出的声音时，在将切换之后的声音的声音图像的位置设置为接替了切换之前的声音的声音图像的位置的位置的情况下，所述计算部参照被保持在所述声音图像位置保持部中的声音图像的位置，以计算所述声音图像的位置。


2.根据权利要求1所述的信息处理装置，其中
所述用户的位置是所述用户在所述声音的切换之前和之后移动的移动量，并且所述计算部基于所述虚拟对象的声音图像的位置和所述移动量来计算所述声源的位置。


3.根据权利要求1所述的信息处理装置，其中
当所述虚拟对象的声音被切换时，在所述计算部将要切换的所述声音的声音话语开始处的位置设置为接替了已经执行了切换之前的所述声音话语处的位置的位置的情况下，所述计算部通过参照被保持在所述声音图像位置保持部中的声音图像的位置来计算所述声音图像的位置。


4.根据权利要求1所述的信息处理装置，其中，
在被固定于所述现实空间中的坐标系上设置所述声音图像的位置的情况下，参照被保持在所述声音图像位置保持部中的声音图像的位置。


5.根据权利要求1所述的信息处理装置，其中
在与所述虚拟对象的声音图像的位置相关的声音图像位置信息被包括在作为声音再现处理中的处理单元的节点中的情况下，所述计算部基于所述声音图像位置信息和所述用户的位置来计算所述虚拟对象的声源相对于所述用户的相对位置，以及
在参照不同的声音图像位置信息的指令被包括在所述节点中的情况下，所述计算部参照被保持在所述声音图像位置保持部中的声音图像的位置来生成所述声音图像位置信息，并且基于所生成的声音图像位置信息和所述用户的位置来计算所述虚拟对象的声源相对于所述用户的相对位置。
<...

【专利技术属性】
技术研发人员：望月大介，福田纯子，后藤智彦，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP