确定个体化头部相关传输函数和耳间时间差函数的计算机程序和方法技术

一种估计特定人的个人化头部相关传输函数(HRTF)和个人化耳间时间差函数(ITDF)的方法，包括以下步骤：a)获得多个数据集(Li,Ri,Oi)，每个数据集包括来自一对入耳式话筒的左和右音频样本(Li,Ri)以及来自定向单元的定向信息(Oi)，所述定向信息时在其中经由扬声器呈现听觉测试信号的测试布置中测量的；b)将所述数据集存储在存储器中；c)基于所述定向数据和所述音频数据来估计所述扬声器相对于所述人的方向；d)基于所述数据集并且基于估计的相对位置/定向来估计ITDF；e)基于所述且基于估计的相对位置/定向来估计HRTF。一种用于执行该方法的计算机程序产品。一种包含该计算机程序的数据载体。

【技术实现步骤摘要】
【国外来华专利技术】确定个体化头部相关传输函数和耳间时间差函数的计算机程序和方法专利
本专利技术涉及3D声
更具体而言，本专利技术涉及估计特定人的个人化头部相关传输函数(HRTF)和个人化的耳间时间差函数(ITDF)的计算机程序产品和方法。本专利技术还涉及包括这种计算机程序产品的数据载体，并涉及包括这种数据载体的部件套件。专利技术背景过去数十年在虚拟现实
已经有了长足的进步，特别是在视觉虚拟现实方面。3DTV屏已经进入公众家中，尤其是此处的家庭影院和视频游戏所利用的。但是3D声技术仍旧滞后。然而，至少在理论上，创建虚拟3D听觉环境(被称为虚拟音频空间(VAS))是非常容易的。当人们在3D空间中定位声音时，他们使用由左耳和右耳拾取的两个音频信号。由此一个重要线索是所谓的“耳间时间差(ITD)”：取决于声音(相对于人的头部)的方向，声音将首先到达左耳或右耳，且这一时间差包含关于横向角度的信息(参见图2)。耳间时间差函数(ITDF)描述了ITD如何随声音源(例如扬声器)的方向变化，例如参见图3。当声音被内耳配准(register)时，声音的频谱内容包含其它线索。毕竟，在来自某个方向的声波到达鼓膜之前，声波与身体、头部和耳廓干涉。并且通过这种干涉，一些频率比其它频率更容易被传送；因此，发生取决于声音来自的方向的频谱滤波。这种滤波由所谓的“头部相关传输函数(HRTF)”(参见图4中的示例)描述，对于声音源的每个方向，HRTF描述了被传送或滤除的每个频率的比例。在双耳中接收的信号的频谱内容从而包含关于声音源的位置(被称为：频谱线索)，且尤其是关于高程(参见图2)以及声音源是位于人的前方还是后方的附加信息，高程(elevation)是声音源相对于头部所处的高度。为了创建真实的3D听觉虚拟现实，因此知道特定人的ITDF和HRTF是最重要的。在知道ITDF和HRTF时，可针对特定方向人工添加适当的时间延迟和频谱滤波，并且用这种方式，给倾听者必要的线索(时间线索和频谱线索)来重构3D世界。目前，在市场上已经有使用HRTF来创建虚拟3D印象的大量应用，但是到目前为止这些应用未被广泛使用。毕竟，这些应用利用被认为适合于大量听众的单一的、一般化的ITDF和HRTF集合。就像假定所有人的双眼间的距离均相同的3D视觉系统一样，这些系统利用平均ITDF和HRTF。尽管对于视觉而言这没有带来明显的问题，对于3D音频却带来了明显问题。在对于一个体而言双眼间的距离与平均距离显著不同时，可能出现的是用户深度感知不是最优的，从而导致“出现了某个问题”的感觉，但是与3D音频相关的问题要严重得多。小的差异可能导致大的差错。被装备了虚拟的“平均耳朵”之后，用户实际上体验了空间效果——声音不再在头部内，而是在头部外某处，但是关于声音来自的方向经常有许多困惑。最多错误发生在高程的感知上，但是这也烦人得多：前方和后方经常互换。实际上应当来自前方的声音被感知为来自后方，从而显著降低了此技术的有用程度。因此，尽管存在不同人的HRTF和ITDF类似这一事实，人的真实HRTF和ITDF和一般HRTF和ITDF的即使很小的差异也导致差错，与3D视觉不同，这些差错对于空间体验是不利的。这很可能是通过立体声耳机的VAS尚未实现其全部潜力的原因之一。因此，为了最优地使用此技术，使用个体化的HRTF和ITDF是必要的。但是如何在大规模上实现这一点，以便可使此技术可公众可用呢？人的HRTF和ITDF传统上时使用专门化的基础结构来记录的：在无回声室(其中声音源绕受试者移动)中，并且对于每个被采样的方向到达左耳和右耳的相应信号的每个所采样的方向被通过布置在受试者的左耳和右耳中的刚好在耳孔入口处的话筒记录。尽管近年来已经取得了进展并且已经开发了新方法来简化这一过程，然而这种测量仍旧非常繁琐且昂贵。因此以此方式测量所有潜在用户的HRTF和ITDF是不可能的。因此，存在寻找个性化HRTF和ITDF的需求。US5729612A描述了一种用于在无回声室外测量头部相关传输函数的方法和装置。在此文档中，提出使用安装在专用支架上的扬声器输出的声波来测量HRTF。左和右音频信号被受试者戴着的两个入耳式话筒捕捉，受试者的头部移动被位置传感器跟踪和/或受试者坐在可被定向在特定方向上的椅子上。数据将在远程计算机中被处理。该文档没有提及具体如何从测得的音频信号和位置信号来计算ITDF和HRTF。然而，校准步骤被用来确定扬声器和话筒的传输性质，且该方法还严重依赖于以下事实：人和扬声器的相对位置被准确知晓。仍有改进或替代的空间。专利技术概述本专利技术的实施例的目标是提供确定或估计个体化耳间时间差函数(ITDF)和个体化耳间时间差函数(HRTF)的良好计算机程序产品和良好方法。本专利技术的特定实施例的目标是提供一种基于最终用户自己在相对简单的测试布置中而不需要特定技能或专业装备(例如在他或她的家中)捕捉的数据确定或估计个体化ITDF和个体化HRTF的计算机程序产品和方法，并且复杂度被转移到数据处理步骤。换言之，提供能大规模应用的计算机程序产品和方法，以便可服务大用户群体。本专利技术的特定实施例的目标是提供一种实现用于基于左和右音频样本以及由定向单元提供的(可能不精确的)定向样本来确定或估计个体化ITDF和个体化HRTF的算法的计算机程序产品和方法，所述定向单元在头部上的位置/定向可能是未知的，且这不需要校准步骤。如果可用，则该算法可利用关于各扬声器中的一个或多个的位置的(可能不精确的)信息，和/或关于定向单元在头部上的位置/定向的(可能不精确的)信息，和/或关于被使用的装备和环境的频谱性质的(可能不精确的)信息。本专利技术的特定实施例的目标是提供一种确定或估计个体化ITDF和个体化HRTF的计算机程序产品和方法，其当在3D虚拟音频系统(3D-VAS)中使用时为至少一些用户(优选地为大用户群体，最优选地为所有用户)给出(与通用或平均IDTF和平均HRTF相比)更精确的3D虚拟声音体验，特别是在减少数量的前/后误感知方面。这些和其它目标由本专利技术的实施例来实现。在第一方面中，本专利技术一种用于估计特定人的个人化头部相关传输函数(HRTF)和耳间时间差函数(ITDF)的计算机程序产品，所述计算机程序产品当在包括处理器和存储器的至少一个计算设备上执行时，被适配成用于执行以下步骤：a)获得多个数据集，每个数据集包括源自左入耳式话筒的左音频样本和源自右入耳式话筒的右音频样本以及源自定向单元的定向信息，每个数据集的所述左音频样本及所述右音频样本和所述定向信息是在布置中被同时捕捉的，其中：所述左入耳式话筒被插入在所述人的左耳中，以及所述右入耳式话筒被插入在所述人的右耳中，以及所述定向单元被安装在所述人的头部上或被安装到所述人的头部，以及所述人位于距扬声器一距离处，以及所述扬声器被布置成用于呈现听觉测试信号，所述听觉测试信号包括多个听觉刺激，以及a)所述人在所述听觉测试信号的呈现期间在多个不同定向上转动头部；b)将所述多个数据集存储在存储器中；c)针对存储在所述存储器中的每个数据集，估计所述扬声器相对于所述人的所述头部的方向；d)基于存储在所述存储器中的所述多个数据集(Li,Ri,Oi)并且基于在步骤c)中估计的方向来估计所述人的个人化ITDF；e)基于存本文档来自技高网...

【技术保护点】
一种用于估计特定人的个人化头部相关传输函数(HRTF)和耳间时间差函数(ITDF)的计算机程序产品，所述计算机程序产品当在包括处理器和存储器的至少一个计算设备上执行时，被适配成用于执行以下步骤：a)获得(1001)多个数据集(Li,Ri,Oi)，每个数据集包括源自左入耳式话筒的左音频样本(Li)和源自右入耳式话筒的右音频样本(Ri)以及源自定向单元(604；704；804)的定向信息(Oi)，每个数据集的所述左音频样本及所述右音频样本和所述定向信息是在布置中被同时捕捉的，其中：所述左入耳式话筒被插入在所述人的左耳中，以及所述右入耳式话筒被插入在所述人的右耳中，以及所述定向单元被安装在所述人的头部上或被安装到所述人的头部，以及所述人位于距扬声器(602；702；802)一距离处，以及所述扬声器被布置成用于呈现包括多个听觉刺激(Ci)的听觉测试信号，以及所述人在所述听觉测试信号的呈现期间在多个不同定向上转动头部；b)将所述多个数据集(Li,Ri,Oi)存储(1002)在存储器中；c)针对存储在所述存储器中的每个数据集(Li,Ri,Oi)，估计(1003)所述扬声器相对于所述人的所述头部的方向；d)基于存储在所述存储器中的所述多个数据集(Li,Ri,Oi)并且基于在步骤c)中估计的方向来估计(1004)所述人的个人化ITDF；e)基于存储在所述存储器中的所述多个数据集(Li,Ri,Oi)并且基于在步骤c)中估计的方向来估计(1005)所述人的个人化HRTF。...

【技术特征摘要】
【国外来华专利技术】2015.02.26 GB 1503213.91.一种用于估计特定人的个人化头部相关传输函数(HRTF)和耳间时间差函数(ITDF)的计算机程序产品，所述计算机程序产品当在包括处理器和存储器的至少一个计算设备上执行时，被适配成用于执行以下步骤：a)获得(1001)多个数据集(Li,Ri,Oi)，每个数据集包括源自左入耳式话筒的左音频样本(Li)和源自右入耳式话筒的右音频样本(Ri)以及源自定向单元(604；704；804)的定向信息(Oi)，每个数据集的所述左音频样本及所述右音频样本和所述定向信息是在布置中被同时捕捉的，其中：所述左入耳式话筒被插入在所述人的左耳中，以及所述右入耳式话筒被插入在所述人的右耳中，以及所述定向单元被安装在所述人的头部上或被安装到所述人的头部，以及所述人位于距扬声器(602；702；802)一距离处，以及所述扬声器被布置成用于呈现包括多个听觉刺激(Ci)的听觉测试信号，以及所述人在所述听觉测试信号的呈现期间在多个不同定向上转动头部；b)将所述多个数据集(Li,Ri,Oi)存储(1002)在存储器中；c)针对存储在所述存储器中的每个数据集(Li,Ri,Oi)，估计(1003)所述扬声器相对于所述人的所述头部的方向；d)基于存储在所述存储器中的所述多个数据集(Li,Ri,Oi)并且基于在步骤c)中估计的方向来估计(1004)所述人的个人化ITDF；e)基于存储在所述存储器中的所述多个数据集(Li,Ri,Oi)并且基于在步骤c)中估计的方向来估计(1005)所述人的个人化HRTF。2.如权利要求1所述的计算机程序产品，其特征在于，步骤e)进一步包括估计所述扬声器和所述话筒的组合频谱滤波性质。3.如权利要求2所述的计算机程序产品，其特征在于，估计所述扬声器和所述话筒的组合频谱滤波性质包括：-利用关于所述扬声器的频谱滤波性质的先验信息，和/或-利用关于所述话筒的频谱滤波性质的先验信息。4.如前述权利要求中任一项所述的计算机程序产品，其特征在于，步骤c)的估计基于存储在所述存储器中的所述多个数据集(Li,Ri,Oi)并且基于将听觉线索与空间信息相关的至少一个传输函数。5.如权利要求4所述的计算机程序产品，其特征在于，将听觉线索与空间信息相关的所述至少一个传输函数为耳间时间差函数(ITDF)。6.如权利要求4所述的计算机程序产品，其特征在于，将听觉线索与空间信息相关的所述至少一个传输函数为耳间时间差函数(ITDF)和头部相关传输函数(HRTF)。7.如前述权利要求中任一项所述的计算机程序产品，其特征在于，估计所述ITDF的步骤d)包括利用基于包含不同人的多个ITDF的数据库的统计分析的关于个体化ITDF的先验信息。8.如前述权利要求中任一项所述的计算机程序产品，其特征在于，估计所述HRTF的步骤e)包括利用基于包含不同人的多个HRTF的数据库的统计分析的关于个体化HRTF的先验信息。9.如前述权利要求中任一项所述的计算机程序产品，其特征在于，步骤c)包括：-从所述多个数据集的所述左音频样本和所述右音频样本提取定时信息；-从所述多个数据集的所述左音频样本和所述右音频样本提取频谱信息；-基于所提取的定时信息和频谱信息估计所述扬声器相对于所述人的所述头部的方向，由此使用通用ITDF和通用HRTF。10.如权利要求9所述的计算机程序产品，-其中步骤d)包括：基于所述左音频样本和所述右音频样本中包含的所述定时信息和频谱信息以及基于步骤c)的估计的方向来确定个人化ITDF的估计；以及-其中步骤e)包括：基于所述左音频样本和所述右音频样本中包含的所述定时信息和频谱信息以及基于步骤c)的估计的方向来确定个人化HRTF的估计。11.如权利要求10所述的计算机程序产品，其特征在于，所述计算机设备被进一步适配成用于执行以下步骤组合：i)在执行步骤d)和步骤e)之后，再次执行步骤c)，但是使用如在步骤d)中确定的个人化ITDF的估计而不是一般性ITDF以及使用如在步骤e)中确定的个人化HRTF的估计而不是一般性HRTF，以获得所述扬声器相对于所述人的头部的方向的经更新的估计；ii)在执行步骤i)之后，再次执行步骤d)，使用步骤i)的所述扬声器的所述方向的经更新的估计，以获得所述人的个人化ITDF的更新；iii)在执行步骤i)之后，再次执行步骤e)，使用步骤i)的所述扬声器的所述方向的经更新的估计，以获得所述人的个人化HRTF的更新。12.如权利要求1到8中任一项所述的计算机程序产品，其特征在于，步骤c)包括：-从所述多个数据集的所述左音频样本和所述右音频样本提取定时信息；-基于所提取的定时信息针对每个数据集(Li,Ri,Oi)估计所述扬声器相对于所述人的头部的方向，由此使用通用ITDF而不使用通用HRTF。13.如权利要求12所述的计算机程序产品，-其中所述计算设备被适配成用于在执行步骤c)和步骤d)的组合之后执行步骤e)；-并且其中步骤e)进一步包括：*从所述多个数据集的所述左音频样本和所述右音频样本(Li,Ri)提取频谱信息；*基于所提取的频谱信息估计高程偏移；*基于所述左音频样本和所述右音频样本中包含的所述定时信息和频谱信息以及基于步骤c)的所述扬声器的估计的方向来确定个人化HRTF的估计。14.如权利要求13所述的计算机程序产品，其特征在于，所述计算设备被适配成用于执行以下步骤组合的至少一次迭代：i)再次执行步骤c)以获得所述扬声器的方向的经更新的估计，其中在步骤c)的第二次执行和每次后续执行中使用个人化ITDF的估计而非通用ITDF；ii)使用步骤i)的所述扬声器的方向的经更新的估计来再次执行步骤d)以获得所述人的经更新的个人化ITDF。15.如前述权利要求中任一项所述的计算机程序产品，其特征在于，所述定向单元被适配成用于提供关于地球重力场以及关于地球磁场的定向信息。16.如前述权利要求中任一项所述的计算机程序产品，其中所述音频测试信号包括具有小于4.80ms的历时的多个听觉刺激。17.如前述权利要求中任一项所述的计算机程序产品，其特征在于，所述计算机程序产品被进一步适配成用于：-取决于对所述多个数据集的分析从一组预定义音频消息中选择预定义音频消息，以及-经由不同于所述第一扬声器的第二扬声器呈现所选择的音频消息，以用于在呈现所述音频测试信号之前和/或期间和/或之后向所述人提供信息或指令。18.如权利要求1到17中任一项所述的计算机程序产品，其中所述计算设备电连接至所述左和右入耳式话筒，并且电连接至所述定向单元，以及其中所述计算设备被适配成用于在步骤a)中捕捉多个左音频样本及右音频样本和定向信息，并用于执行步骤b)到步骤e)。19.如权利要求1到17中任一项所述的计算机程序产品，其中所述定向单元被包括在便携式设备中，所述便携式设备能安装到所述人的头部，以及其中所述便携式设备进一步包括可编程处理器和存储器，以及能够电连接至所述左和右入耳式话筒的接口装置，以及用于存储和/或传送所述所捕捉数据集的装置，以及其中所述计算机程序产品包括被适配成由所述便携式设备的处理器执行的第一软件模块和被适配成由所述计算设备执行的第二软件模块，以及其中所述第一软件模块被适配成用于执行步骤a)的所述左及右音频样本的捕捉和所述定向信息的捕捉，以及用于将所捕捉数据集传送至所述计算设备或用于将所捕捉数据集存储在可交换存储器上，以及其中所述第二软件模块被适配成用于获得所述多个数据集，并且用于执行步骤b)到步骤e)。20.如权利要求1到17中任一项所述的计算机程序产品，其中所述定向单元被包括在便携式设备中，所述便携式设备能安装到所述人的头部，以及其中所述便携式设备进一步包括形成所述计算设备的处理器和存储器，以及其中所述便携式设备进一步包括能够电连接至所述左和右入耳式话筒的接口装置，以及其中所述便携式设备的所述处理器被适配成用于执行步骤a)的所述左和右音频样本的捕捉以及所述定向信息的捕捉，以及用于在步骤b)中将所捕捉数据集存储在所述存储器中，以及用于执行步骤c)到步骤e)。21.如权利要求19或20所述的计算机程序产品，-其中所述便携式设备进一步包括扬声器，-以及其中所述便携式设备的处理器被进一步适配成用于分析所述定向信息，以便验证是否以至少预定义强度采样围绕所述头部的3D空间，-以及用于如果所述验证的结果分别是以/未以所述预定义强度采样所述空间，则经由所述便携式设备的所述扬声器分别呈现第一/第二预定义音频消息。22.包括如权利要求1到21中任一项所...

【专利技术属性】
技术研发人员：J·赖尼尔斯，H·G·P·佩雷曼斯，B·W·M·帕托恩斯，
申请(专利权)人：安特卫普大学，
类型：发明
国别省市：比利时,BE