模拟声音源的方法技术

提供了一种模拟声音源的方法。该方法包括：(a)利用从多个可能的声音定位函数中选择的声音定位函数，为用户播放声音；(b)检测从用户到播放声音的感知声音位置的指向向量；(c)基于该检测减少多个可能的声音定位函数；(d)从多个可能的声音定位函数中选择新的声音定位函数；以及重复操作(a)‑(d)，直到播放最后声音并且为用户选择用户声音定位函数，其中利用用户声音定位函数播放的声音为用户模拟该声音源自空间中的期望位置。

Method for simulating sound source

A method of simulating a sound source is provided. The method includes: (a) the use of voice location selected from a plurality of possible function in sound localization function, for the user to play a sound; (b) detected sound perceived sound position of the pointing vector from the user; (c) the detection of multi voice positioning may function based on selection (D); the new sound localization function from multiple sound localization possible function; and repeat (a) (d), until finally playing voice and the voice of the user to choose positioning function for the user, including the use of the voice of the user playing sound positioning function for the user to simulate the sound from the desired position in space.

【技术实现步骤摘要】
模拟声音源的方法本申请是申请日为2012年8月10日、申请号为201210460338.6、专利技术名称为“运动用户的声音定位”的专利申请的分案申请。优先权申明本申请要求2011年8月12日提交的申请号为61/523,100、题为“运动用户的声音定位”的美国临时专利申请，以及2011年9月27日提交的申请号为61/539/676、题为“运动用户的声音定位”的美国临时专利申请的优先权，此处以引用形式将其全部并入。相关申请的交叉引用本申请涉及于2010年11月16日提交的申请号为12/947,290、题为“在共享的稳定虚拟空间上维护多个视图”的美国专利申请；2010年12月20日提交的申请号为12/973,827、题为“共享虚拟空间中便携式设备的校准”的美国申请；以及2008年10月27日提交的申请号为12/259,181、题为“确定附加球控制器的位置和运动”的美国申请，此处以引用形式将其全部并入。
本专利技术涉及递送(deliver)声音的方法，更具体而言，涉及三维空间中模拟声音源的方法。
技术介绍
电脑游戏业的发展趋势是增加用户和游戏系统之间的接口并为玩家提供更加逼真体验的游戏的开发。实现更丰富的接口体验的方式之一是利用环绕声系统，其递送在多个扬声器中产生的多个声音。然而，目前的环绕声系统没有考虑用户的身体特征、用户的位置、用户的移动或物理三维空间中虚拟对象的虚拟位置。在某些环境中，例如电影院中，假设观众正在看屏幕时递送声音。由于声音被递送到用户组，因此声音递送不考虑用户特征或者用户关于产生声音的扬声器的实际位置。在另一个场景中，当用户聆听来自便携式设备的音乐时，当声音直接来自于便携式设备时和当用户戴着耳机时相比，该聆听体验是不同的。正是在这种背景下，专利技术的实施例出现了。
技术实现思路
本专利技术实施例提供模拟声音源的方法、设备和计算机程序。本专利技术实施例跟踪将发出声音的位置和用户的当前位置，以便将该声音投射(project)为好像该声音来自位于三维空间内的模拟声音源。例如，该声音可能看起来源自便携式设备、游戏中的对象、虚拟嵌入并增强现实空间的虚拟对象、玩家等等。应该理解：可以以多种方式实施本专利技术，例如处理、设备、系统、装置或者计算机可读介质上的方法。下面描述本专利技术的几个创造性实施例。在一个实施例中，方法包括确定空间中用户头部位置的操作，其中使用用户的人脸识别确定该位置。此外确定递送到两个扬声器的声音，每个扬声器与用户的耳朵相关联。该方法还包括确定空间中的声音发出位置的操作，以及基于空间中头部的位置、声音、空间中发出位置以及用户的听觉(auditory)特征而为每个扬声器建立声信号(acousticsignal)的操作。该声信号传输到两个扬声器，而且当两个扬声器播放声信号时，该声信号模拟声音源自空间中的发出位置。在另一个实施例中，模拟声音源的方法包括用第一设备确定第一用户头部的第一位置的操作。在另一操作中，接收对应于第二用户头部的第二位置，其中用第二设备确定第二位置。此外，该方法包括确定对应于第二设备关于第一设备的位置的第三位置的操作，以及基于第一位置、第二位置以及第一用户的听觉特征而为多个扬声器建立声信号的另一个操作。该声信号被传输到多个扬声器，其中当多个扬声器播放时，声信号模拟与该声信号相关的声音源自第二用户。另一实施例中，模拟声音源的方法包括确定对应于用户头部的第一位置的操作，以及确定对应于对象的第二位置的另一操作。使用用户周围空间的图像分析确定第二位置。此外，基于第一位置、第二位置以及用户的听觉特征，为多个扬声器建立声信号，其中多个扬声器位于用户周围的空间中。声信号被传输到多个扬声器，其中当由多个扬声器播放时，声信号模拟与该声信号相关的声音源自该对象。在另一实施例中，模拟声音源的方法包括生成多个声线索(acousticcue)的操作，每个声线索与空间中的位置相关。在该方法的另一实施例中，为每个声线索接收来自用户的输入，每个输入具有关于相应声线索的感知位置的信息。基于接收的输入，为用户建立声音定位函数(function)，其中通过从多个现有声音函数中选择现有声音函数，或者从多个现有声音函数中组合多于一个现有声音函数，建立声音定位函数。此外，基于声音定位函数、用户位置以及声音源的期望感知位置，将声音递送到多个扬声器，用以模拟声音源。在另一个实施例中，模拟声音源的方法包括：(a)利用从多个可能的声音定位函数中选择的声音定位函数，为用户播放声音；(b)检测从用户到播放声音的感知声音位置的指向向量；(c)基于该检测减少多个可能的声音定位函数；(d)从多个可能的声音定位函数中选择新的声音定位函数；以及重复操作(a)-(d)，直到播放最后声音并且为用户选择用户声音定位函数，其中利用用户声音定位函数播放的声音为用户模拟该声音源自空间中的期望位置。在另一个实施例中，模拟声音源的方法包括：(a)利用从多个可能的声音定位函数中选择的声音定位函数，为用户播放声音；(b)响应于播放声音检测用户正在用手指指向何处；(c)基于该检测减少多个可能的声音定位函数；(d)从多个可能的声音定位函数中选择新的声音定位函数；以及重复操作(a)-(d)，直到播放最后声音并且为用户选择用户声音定位函数，其中利用用户声音定位函数播放的声音为用户模拟该声音源自空间中的期望位置。在另一个实施例中，模拟声音源的方法包括：(a)利用从多个可能的声音定位函数中选择的声音定位函数，为用户播放声音；(b)响应于播放声音检测用户的视线的方向；(c)基于该检测减少多个可能的声音定位函数；(d)从多个可能的声音定位函数中选择新的声音定位函数；以及重复操作(a)-(d)，直到播放最后声音并且为用户选择用户声音定位函数，其中利用用户声音定位函数播放的声音为用户模拟该声音源自空间中的期望位置。在另一个实施例中，一种模拟声音源的方法包括：通过计算机，确定用户的头部在物理空间中的位置，其中通过用相机捕获用户所位于的物理空间的图像、并且识别来自布置在用户的头部的至少一个发光二极管的光来确定所述位置；通过计算机，确定用于递送到用户佩戴的两个扬声器的声音；通过计算机，确定物理空间中声音的发出位置；通过计算机，基于物理空间中头部的位置、声音、物理空间中的发出位置以及用户的听觉特征，为每个扬声器建立声信号，其中用户的听觉特性基于校准过程识别，所述校准过程配置为在物理空间中生成一个或多个声音，并且要求用户通过移动具有光的控制器靠近用户感知声音发出的位置来响应，相机识别当用户移动控制器时控制器的位置，移动控制器的响应和生成的一个或多个声音用于识别用户的听觉特性，并且其中建立声信号以便当两个扬声器播放声信号时，为用户模拟该声音源自物理空间中的发出位置；以及通过计算机，将声信号传输到两个扬声器上。在另一个实施例中，一种模拟声音源的方法包括：通过计算机，生成多个声线索，每个声线索与物理空间中的位置相关；通过计算机，为每个声线索接收来自用户的控制器的输入，每个输入具有关于相应声线索的用户的感知位置的信息，通过与计算机通信的相机跟踪控制器的物理位置，使得来自控制器的输入与控制器的物理位置相关；通过计算机，基于接收的输入，为用户建立声音定位函数，其中通过从多个现有声音函数中选择现有声音函数，或者从多本文档来自技高网...

【技术保护点】
一种模拟声音源的方法，该方法包括：通过计算机，确定用户的头部在物理空间中的位置，其中通过用相机捕获用户所位于的物理空间的图像、并且识别来自布置在用户的头部的至少一个发光二极管的光来确定所述位置；通过计算机，确定用于递送到用户佩戴的两个扬声器的声音；通过计算机，确定物理空间中声音的发出位置；通过计算机，基于物理空间中头部的位置、声音、物理空间中的发出位置以及用户的听觉特征，为每个扬声器建立声信号，其中用户的听觉特性基于校准过程识别，所述校准过程配置为在物理空间中生成一个或多个声音，并且要求用户通过移动具有光的控制器靠近用户感知声音发出的位置来响应，相机识别当用户移动控制器时控制器的位置，移动控制器的响应和生成的一个或多个声音用于识别用户的听觉特性，并且其中建立声信号以便当两个扬声器播放声信号时，为用户模拟该声音源自物理空间中的发出位置；以及通过计算机，将声信号传输到两个扬声器上。

【技术特征摘要】
2011.08.12 US 61/523,100;2011.09.27 US 61/539,676;1.一种模拟声音源的方法，该方法包括：通过计算机，确定用户的头部在物理空间中的位置，其中通过用相机捕获用户所位于的物理空间的图像、并且识别来自布置在用户的头部的至少一个发光二极管的光来确定所述位置；通过计算机，确定用于递送到用户佩戴的两个扬声器的声音；通过计算机，确定物理空间中声音的发出位置；通过计算机，基于物理空间中头部的位置、声音、物理空间中的发出位置以及用户的听觉特征，为每个扬声器建立声信号，其中用户的听觉特性基于校准过程识别，所述校准过程配置为在物理空间中生成一个或多个声音，并且要求用户通过移动具有光的控制器靠近用户感知声音发出的位置来响应，相机识别当用户移动控制器时控制器的位置，移动控制器的响应和生成的一个或多个声音用于识别用户的听觉特性，并且其中建立声信号以便当两个扬声器播放声信号时，为用户模拟该声音源自物理空间中的发出位置；以及通过计算机，将声信号传输到两个扬声器上。2.如权利要求1所述的方法，还包括：基于对物理空间中头部的位置、用于递送到两个扬声器的声音或发出位置的任何的更新，计算用于传输到两个扬声器的新声信号。3.如权利要求1所述的方法，其中该声音由增强现实环境中的虚拟对象生成，包括一个或多个虚拟对象的该增强现实环境与具有真实对象的真实世界视角重叠，其中发出位置是物理空间中的虚拟对象的模拟位置。4.如权利要求3所述的方法，还包括：在屏幕上显示增强现实的一部分，其中由两个扬声器播放的声信号为用户提供关于物理空间中的虚拟对象的模拟位置的声线索。5.如权利要求4所述的方法，其中建立声信号还包括：当在屏幕上显示虚拟对象时，为声信号提供比在屏幕上不显示虚拟对象时更高的音量。6.如权利要求1所述的方法，其中基于所述校准过程，作为用户的与头相关的传输函数HRTF的最佳匹配选择用户的听觉特征，基于收听者的解剖学修正定义声音如何到达收听者的耳膜的收听者的HRTF，其中为每个扬声器建立的声信号基于用户的HRTF。7.一种模拟声音源的方法，该方法包括：通过计算机，生成多个声线索，每个声线索与物理空间中的位置相关；通过计算机，为每个声线索接收来自用户的控制器的输入，每个输入具有关于相应声线索的用户的感知位置的信...

【专利技术属性】
技术研发人员：S奥斯曼，
申请(专利权)人：索尼电脑娱乐公司，
类型：发明
国别省市：日本,JP