信息处理装置、信息处理方法和信息处理程序制造方法及图纸

根据本公开的信息处理装置(100)包括：获取单元(141)，其获取包括用户的耳朵的图像的第一图像；以及计算单元(142)，其基于由获取单元(141)获取的第一图像，使用学习模型来计算与用户相对应的头部相关传递函数，该学习模型已经学习以在输入包括耳朵的图像的图像时输出与耳朵相对应的头部相关传递函数。出与耳朵相对应的头部相关传递函数。出与耳朵相对应的头部相关传递函数。

【技术实现步骤摘要】
【国外来华专利技术】信息处理装置、信息处理方法和信息处理程序


[0001]本公开涉及信息处理装置、信息处理方法和信息处理程序。具体地，本公开涉及头部相关传递函数计算处理。

技术介绍

[0002]已经使用通过使用数学上表达声音如何从声源传播到耳朵的头部相关传递函数(在下文中也称为HRTF)在耳机等处立体地再现音频图像的技术。
[0003]头部相关传递函数在个体之间有很大不同，并且因此期望使用当使用头部相关传递函数时为每个个体生成的头部相关传递函数。例如，已知基于通过捕获用户的耳廓而获得的图像来生成头部的三维数字模型(在下文中称为“3D模型”)，并且基于所生成的3D模型计算用户的头部相关传递函数的技术。
[0004]引用列表
[0005]专利文献
[0006]专利文献1：美国专利第9544706号。

技术实现思路

[0007]技术问题
[0008]根据常规技术，可以在信息处理中使用根据每个用户单独计算的头部相关传递函数，从而增加音频图像的平稳性。
[0009]然而，上述常规技术基于由用户捕获的图像来生成3D数字模型，并且基于所生成的模型来计算头部相关传递函数，并且因此具有相对较大的计算处理负荷。因此，假设利用上述常规技术，需要很长时间直到头部相关传递函数被提供给已经发送图像的用户，并且因此便利性不高。
[0010]因此，本公开提供了信息处理装置、信息处理方法和信息处理程序，其可以改善用户在与头部相关传递函数相关的处理中的便利性。
[0011]问题的解决方案/>[0012]为了解决以上问题，根据本公开的实施例的信息处理装置包括：获取单元，其被配置为获取包括用户的耳朵的内容图像的第一图像；以及计算单元，其被配置为基于由获取单元获取的第一图像，通过使用学习模型来计算与用户相对应的头部相关传递函数，该学习模型已经学习以在输入包括耳朵的内容图像的图像时输出与耳朵相对应的头部相关传递函数。
附图说明
[0013][图1]是示出根据本公开的第一实施例的信息处理的概况的示图。
[0014][图2]是示出根据本公开的信息处理的整个过程的概念图。
[0015][图3]是示出根据本公开的第一实施例的信息处理装置的示例性配置的示图。
[0016][图4]是示出根据本公开的示例性耳朵图像存储单元的示图。
[0017][图5]是示出与根据本公开的耳朵模型相关的示例性学习处理的示图。
[0018][图6]是示出与根据本公开的耳朵参数估计模型相关的示例性学习处理的示图。
[0019][图7]是示出根据本公开的示例性耳朵图像生成处理的示图。
[0020][图8]是用于描述根据本公开的耳朵参数估计模型的示图。
[0021][图9]是示出与HRTF相关的模型的生成处理的过程的概况的示图。
[0022][图10]是用于描述根据本公开的3D模型重构的示图。
[0023][图11]是用于描述与HRTF相关的模型的生成处理的细节的示图。
[0024][图12]是用于描述根据本公开的HRTF的压缩和解压缩的示图。
[0025][图13]是示出根据本公开的HRTF估计处理的过程的示图。
[0026][图14]是示出根据本公开的第一实施例的用户终端的示例性配置的示图。
[0027][图15]是示出根据本公开的检测处理的过程的示图。
[0028][图16]是示出根据本公开的第二实施例的信息处理装置的示例性配置的示图。
[0029][图17]是示出被配置为实现每个信息处理装置的功能的示例性计算机的硬件配置图。
具体实施方式
[0030]下面将参考附图详细描述本公开的实施例。注意，实施例中相同的部位由相同的参考标记表示，并且省略其重复描述。
[0031](1.第一实施例)
[0032][1
‑
1.根据第一实施例的信息处理的概况][0033]首先，将参考图1描述根据本公开的信息处理系统1的配置和由信息处理系统1执行的信息处理的概况。图1是示出根据本公开的第一实施例的信息处理的概况的示图。通过图1所示的信息处理系统1来实现根据本公开的第一实施例的信息处理。信息处理系统1包括信息处理装置100和用户终端10。信息处理装置100和用户终端10通过有线或无线网络(未示出)执行相互通信。注意，包括在信息处理系统1中的每种装置的数量不限于图示的数量。
[0034]信息处理装置100是根据本公开的示例性信息处理装置，计算与每个用户相对应的头部相关传递函数(HRTF)，并且提供所计算的HRTF。信息处理装置100通过例如服务器装置来实现。
[0035]用户终端10是由期望接收HRTF提供的用户使用的信息处理终端。用户终端10通过例如具有图像捕获功能的智能电话来实现。在图1所示的示例中，用户终端10由用户U01用作示例性用户。
[0036]HRTF将由包括人的耳廓(auricle)(耳廓(ear conch))或头部的形状的附近的对象引起的声音变化表示为传递函数。通常，通过使用安装在人的耳廓中的麦克风、虚拟头部麦克风等测量用于测量的声学信号来获取用于计算HRTF的测量数据。
[0037]例如，经常通过使用由虚拟头部麦克风等获取的测量数据、从大量人获取的测量数据的平均值等来计算在诸如3D声学技术的技术中使用的HRTF。然而，个体的HRTF彼此大不相同，并且因此期望使用用户自己的HRTF来实现更有效的声学渲染效果。具体地，可以通
过利用用户的HRTF代替典型的HRTF来向用户提供具有更真实感觉的声学体验。
[0038]然而，个体用户的HRTF的测量存在各种问题。例如，需要相对高密度的测量数据来获得提供优异声学效果的HRTF。需要以用户周围的各种角度输出到用户的声学信号的测量数据以获取高密度的测量数据。这样的测量需要很长时间，并且因此用户的身体负担很大。另外，需要在消声室等中执行精确的测量，并且因此经济负担也很大。因此，例如，减轻用户负担和降低测量成本是HRTF计算中的问题。
[0039]对于上述问题，存在以3D模型表达用户的耳朵或头部并且通过利用3D模型进行声学模拟来执行伪测量的技术。利用该技术，用户可以通过提供头部的扫描数据或头部的捕获图像来执行HRTF的计算，而无需在测量室中执行实际测量。
[0040]然而，对于生成3D模型和利用3D模型进行声学模拟的处理，计算处理负荷非常大。因此，当上述技术用于在使用例如3D声学的软件等上结合用户唯一的HRTF时，潜在地发生几十分钟或几小时的时滞。这对于用户来说不是很方便。因此，需要提高HRTF计算中的处理速度以实现用户对HRTF的有效使用，这是另一个问题。
[0041]如上所述，获得与个体用户相对应的HRTF存在各种问题。根据本公开的信息处理装置100通过本公开的信息处理解决上述问题。
[0042]具体地，信息处理装置100通过使用学习模型(在下文中简称为“本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种信息处理装置，包括：获取单元，被配置为获取包括用户的耳朵的内容图像的第一图像；以及计算单元，被配置为基于由所述获取单元获取的所述第一图像，通过使用学习模型来计算与所述用户相对应的头部相关传递函数，所述学习模型已经学习以在输入包括所述耳朵的内容图像的图像时输出与所述耳朵相对应的头部相关传递函数。2.根据权利要求1所述的信息处理装置，其中，所述获取单元获取表示包括在所述第一图像中的所述耳朵的特性的变量的耳朵参数，以及所述计算单元通过将所述耳朵参数输入到所述学习模型来计算与所述用户相对应的所述头部相关传递函数。3.根据权利要求2所述的信息处理装置，其中，所述获取单元通过使用耳朵参数估计模型来获取包括在所述第一图像中的所述耳朵的所述耳朵参数，所述耳朵参数估计模型已经学习以在输入包括所述耳朵的内容图像的图像时输出与所述耳朵相对应的所述耳朵参数。4.根据权利要求3所述的信息处理装置，进一步包括：第一学习单元，被配置为通过学习包括所述耳朵的内容图像的图像与所述耳朵的耳朵参数之间的关系来生成所述耳朵参数估计模型。5.根据权利要求4所述的信息处理装置，其中，所述第一学习单元通过学习所述耳朵参数与通过渲染基于所述耳朵参数生成的所述耳朵的三维数据而获得的耳朵图像之间的关系来生成所述耳朵参数估计模型。6.根据权利要求5所述的信息处理装置，其中，所述第一学习单元通过学习通过改变所述耳朵或头部的三维数据的纹理、渲染中的相机角度或渲染中的亮度而获得的多个耳朵图像与所述多个耳朵图像共有的耳朵参数之间的关系来生成所述耳朵参数估计模型。7.根据权利要求4所述的信息处理装置，进一步包括：第二学习单元，被配置为通过学习包括所述耳朵的内容图像的图像与和所述耳朵相对应的所述头部相关传递函数之间的关系来生成所述学习模型。8.根据权利要求7所述的信息处理装置，其中，所述第二学习单元对通过合成基于所述耳朵参数生成的所述耳朵的三维数据和头部的三维数据而获得的三维数据执行声学模拟，并且通过学习通过所述声学模拟获得的头部相关传递函数与所述耳朵参数之间的关系来生成所述学习模型。9.根据权利要求8所述的信息...

【专利技术属性】
技术研发人员：福田和巳，曲谷地哲，
申请(专利权)人：索尼集团公司，
类型：发明
国别省市：