增强空间听觉感知的声音重放系统及方法技术方案

本发明专利技术提供了一种增强空间听觉感知的声音重放系统及方法，包括：信息输入和定义层：包括扬声器、麦克风、距离追踪装置和处理器，完成对空间声场采样以及实时距离追踪后将声源信息、环境信息和听者信息输入空间声音调制层；空间声音调制层：包括空间声音调制器，空间声音调制器包含阵列排布的像素区块用以时空调制声波的幅值、相位和指向性；调制后的声波输入至听者声音感知层；听者声音感知层：由人耳听觉系统实现对声源方向定位、声源距离感知和声场景综合感知。本发明专利技术可以与现有的营造空间听觉感知的重放系统配合使用，能够显著减少物理声场的精确重放系统中扬声器的布置数量和空间占用。空间占用。空间占用。

【技术实现步骤摘要】
增强空间听觉感知的声音重放系统及方法


[0001]本专利技术涉及空间声学处理
，具体地，涉及一种增强空间听觉感知的声音重放系统及方法，更为具体地，涉及一种使用实时可重构的空间声音调制器增强空间听觉感知的声音重放系统和方法。

技术介绍

[0002]视觉和听觉是人类感知世界和获取信息的重要手段。“元宇宙”概念的提出，进一步拉动了虚拟现实(Virtual Reality，缩写为VR)、增强现实(Augmented Reality，缩写为AR)和混合现实(Mixed Reality，缩写为MR)等技术的发展需求。以紧凑便携的硬件设备提供视觉与听觉层面的数字化沉浸体验是VR、AR和MR
孜孜以求的目标。当前的VR、AR和MR设备均侧重于视觉图像呈现，而大多忽略了听觉音效呈现，故无法提供完整的数字化沉浸体验。
[0003]良好的听觉数字化沉浸体验不仅要求VR、AR和MR设备能够提供准确的响度、音调和音色信息，更为重要的是能够营造丰富的空间听觉。扬声器产生的声音以波动的形式在空间传播(包括直达和环境反射途径)后叠加形成复杂的空间声场。听者置身声场中,其自身的生理结构(如躯干、头部和耳廓等)对声场产生干涉作用,并将声场信息转换为双耳声压信号。听觉系统对双耳接收到的声压信号进行综合处理,形成各种空间听觉感知。
[0004]就原理而言，营造空间听觉感知的重放方法可分为三类：物理声场的精确重放、心理声学与物理声场的近似重放、双耳声信号的精确重放。尽管采用物理声场的精确重放方法可以在一定的空间区域内实现物理声场的完美重构，但受到Shannon
‑
Nyquist空间采样定理的限制，一方面极难实现全可听声频带的声场重构，另一方面需要数量庞大的扬声器阵列；作为传统两通路立体声、5.1和7.1通路环绕声的典型应用代表，采用心理声学与物理声场的近似重放方法可以大幅减少扬声器的使用数量，但是这些扬声器布置不足以准确地重构目标声场,很大程度上需要依赖心理声学原理合成各种空间听觉事件；采用双耳声信号的精确重放方法虽然可以大幅简化硬件系统配置，但却仅能够实现双耳区域(空间两点)的声压精确重构，并且听者需要时刻佩戴耳机，影响舒适度。
[0005]专利文献CN106303843A(申请号：CN201610616173.5)公开了一种多区域不同语音声源的2.5D重放方法，包括，设定需要重放的声场数及声源的方位；S路语音信号变换到频域，提取各频率系数的幅度信息，并基于幅度信息得到空间内各相应目标子声场的二维柱谐展开表达式；基于空间柱谐系数转换理论，通过空间转移算子把S组子区域声场系数转换为一组整体的声场柱谐展开系数；基于空间声场的线性叠加理论和球贝塞尔函数的附加理论，得到高阶扬声器阵列重建声场的三维球谐表达式，在最小均方准则下计算出2.5D重放系统中各高阶扬声器的模式权值；将高阶扬声器模式权值变换到时域，得到高阶扬声器内各指向性扬声器的时域重放信号。但该专利技术没有借助空间声音调制器调制不同像素辐射声波信号的相关性、幅度与延时关系，实时改变空间指定区域的声压指向性、幅值和相位。

技术实现思路

[0006]针对现有技术中的缺陷，本专利技术的目的是提供一种增强空间听觉感知的声音重放系统及方法。
[0007]根据本专利技术提供的一种增强空间听觉感知的声音重放系统，包括：
[0008]信息输入和定义层：包括扬声器、麦克风、距离追踪装置和处理器，完成对空间声场采样以及实时距离追踪后将声源信息、环境信息和听者信息输入空间声音调制层；
[0009]空间声音调制层：包括空间声音调制器，空间声音调制器包含阵列排布的像素区块用以时空调制声波的幅值、相位和指向性；调制后的声波输入至听者声音感知层；
[0010]听者声音感知层：由人耳听觉系统实现对声源方向定位、声源距离感知和声场景综合感知。
[0011]优选地，在所述空间声音调制层中：
[0012]空间声音调制器包括信号收发部、计算部、调控部和执行部；
[0013]信息采集器采集信号作为空间声音调制器的输入，空间声音调制器将调制后的声波信号经由声波传递路径传播至听者，并再次由信息采集器采集信号反馈输入空间声音调制器；
[0014]信号收发部通过有线传或无线传输方式与信息采集器双向通讯；信息采集器获取的声源信息、环境信息和听者信息由信号收发部接收，经格式转码后传递至计算部；计算部将转码信号进行频谱与滤波处理，滤去干扰杂波，保留扬声器原始声波频谱特征，同时根据听者的实时位置信息确定所需的声波幅值、相位和指向性，将对应指令发送至调控部；调控部根据指令对执行部的特定像素进行状态控制。
[0015]优选地，空间声音调制器调控空间声场的物理基础是惠更斯原理，由Kirchhoff
‑
Helmholtz积分表示为：
[0016][0017]其中，P(r,f)为闭合边界表面S
′
内无源区域V的声场，S
′
为闭合边界表面，P(r
′
,f)为S
′
上任意点的声场，n
′
为任意边界上的法向矢量，r为边界内任意场点或接收位置的矢量；r
′
为边界表面任意点的位置矢量；f
′
为频率，G(r,r
′
,f)为三维亥姆霍兹方程的自由场格林函数，为边界表面的内法向导数；
[0018]由于G(r,r
′
,f)在物理上表示位于r
′
的单极声源在场点r产生的声压，表示位于r
′
的偶极声源在场点r产生的声压，因而上述公式表明，表面S
′
内任意场点r的声压能够连续、均匀分布在边界表面的单极和偶极次级声源重构，而单极和偶极次级声源的驱动信号分别正比于边界表面上声压的内法向导数和声压；
[0019]通过使用空间声音调制器控制边界上的声压或声压梯度在边界内的整个空间实现声场重构；
[0020]将空间目标位置的声音表示为独立声波的线性组合，构建矩阵如下：
[0021][0022]其中，R0为具体优化位置的声场线性组合，P
N
为第N个接收声波的振幅，为第N个接收声波的相位情况；
[0023]N代表了声波的总数，目标位置的声强表示为：
[0024][0025]N的数值由空间声音调制器可调制频率范围内的独立声波数决定，两个散射事件之间的平均传播距离l
s
由散射平均自由程给出，两个连续散射事件时间为δt＝l
s
/c，其中c为声波在空气中的速度343m/s；将δt定义为散射时间间隔，在每个散射时间间隔内，空间声音调制器散射的声波数量N
χ
为：
[0026][0027]其中，A
ssm
为空间声音调制器的表面面积，A为空间内边界(如墙壁等)与空间声音调制器的面积和；
[0028]每条声波在某一时间间隔内经历的散射事件数量τ为：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种增强空间听觉感知的声音重放系统，其特征在于，包括：信息输入和定义层：包括扬声器、麦克风、距离追踪装置和处理器，完成对空间声场采样以及实时距离追踪后将声源信息、环境信息和听者信息输入空间声音调制层；空间声音调制层：包括空间声音调制器，空间声音调制器包含阵列排布的像素区块用以时空调制声波的幅值、相位和指向性；调制后的声波输入至听者声音感知层；听者声音感知层：由人耳听觉系统实现对声源方向定位、声源距离感知和声场景综合感知。2.根据权利要求1所述的增强空间听觉感知的声音重放系统，其特征在于，在所述空间声音调制层中：空间声音调制器包括信号收发部、计算部、调控部和执行部；信息采集器采集信号作为空间声音调制器的输入，空间声音调制器将调制后的声波信号经由声波传递路径传播至听者，并再次由信息采集器采集信号反馈输入空间声音调制器；信号收发部通过有线传或无线传输方式与信息采集器双向通讯；信息采集器获取的声源信息、环境信息和听者信息由信号收发部接收，经格式转码后传递至计算部；计算部将转码信号进行频谱与滤波处理，滤去干扰杂波，保留扬声器原始声波频谱特征，同时根据听者的实时位置信息确定所需的声波幅值、相位和指向性，将对应指令发送至调控部；调控部根据指令对执行部的特定像素进行状态控制。3.根据权利要求2所述的增强空间听觉感知的声音重放系统，其特征在于：空间声音调制器调控空间声场的物理基础是惠更斯原理，由Kirchhoff
‑
Helmholtz积分表示为：其中，P(r，f)为闭合边界表面S
′
内无源区域V的声场，S
′
为闭合边界表面，P(r
′
，f)为S
′
上任意点的声场，n
′
为任意边界上的法向矢量，r为边界内任意场点或接收位置的矢量；r
′
为边界表面任意点的位置矢量；f
′
为频率，G(r，r
′
，f)为三维亥姆霍兹方程的自由场格林函数，为边界表面的内法向导数；由于G(r，r
′
，f)在物理上表示位于r
′
的单极声源在场点r产生的声压，表示位于r
′
的偶极声源在场点r产生的声压，因而上述公式表明，表面S
′
内任意场点r的声压能够连续、均匀分布在边界表面的单极和偶极次级声源重构，而单极和偶极次级声源的驱动信号分别正比于边界表面上声压的内法向导数和声压；通过使用空间声音调制器控制边界上的声压或声压梯度在边界内的整个空间实现声场重构；将空间目标位置的声音表示为独立声波的线性组合，构建矩阵如下：
其中，R0为具体优化位置的声场线性组合，P
N
为第N个接收声波的振幅，为第N个接收声波的相位情况；N代表了声波的总数，目标位置的声强表示为：N的数值由空间声音调制器可调制频率范围内的独立声波数决定，两个散射事件之间的平均传播距离l
s
由散射平均自由程给出，两个连续散射事件时间为δt＝l
s
/c，其中c为声波在空气中的速度343m/s；将δt定义为散射时间间隔，在每个散射时间间隔内，空间声音调制器散射的声波数量N
χ
为：其中，A
ssm
为空间声音调制器的表面面积，A为空间内边界(如墙壁等)与空间声音调制器的面积和；每条声波在某一时间间隔内经历的散射事件数量τ为：其中，t为从声波发出到被计算散射事件数量这一过程的时间，t0为声波直接抵达麦克风的时间；空间声音调制器调控入射其上的声波，在每一个散射时间间隔内，每个像素可以调控x个声波，其中x＝N
χ
/M，M为空间声音调制器的像素个数；空间声音调制器对每个声波进行调制，调制方式记录为其中k(f)为调制幅值，为被调制相位，他们都由声波的频率决定；每个像素在一个散射时间间隔内的散射能够被一个N
×
N的对角矩阵吸收，被定义为T
m，q
，其中，m为像素标号，q为散射事件数量；当q＞0时，T
m，q
对角线上随机的x个数将被调制为其余数据仍为1；因此，在选定的优化时间t
opt
时，第m个像素的累积时间效应为：其中，T
′
m
为第m个像素的调制影响能力；得到x个T
′
m
，每个像素对应一个，通过评估R
m
‑1与T
′
m
R...

【专利技术属性】
技术研发人员：徐思齐，王晓乐，赵春宇，黄震宇，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：