公开了一种创作音频信号以产生沉浸式触觉体验的方法和系统。该方法和系统在预处理器中预处理音频信号，该经预处理的音频信号被传递到音频分析模块。音频分析模块处理该音频信号以产生(a)时间振幅值阵列以及(b)谱质心值阵列。在另一个实施方式中，音频分析模块使用傅里叶变换来变换该音频信号，以产生时间振幅频率值阵列和谱质心值阵列。该时间振幅值阵列和该谱质心值阵列被传递到创作工具。用户可以修改该时间振幅值阵列、时间频率值阵列、和谱质心值阵列，以调整该音频信号。经创作的音频信号被提供给变换模块，该变换模块将该音频信号变换为用于产生计算机可读文件的经变换的音频信号。该计算机可读文件可以被存储并传递到用于产生沉浸式触觉体验的再合成模块。在一个变体中，经变换的音频信号可以使用再合成模块直接合成。在替代实施例中，可以绕过创作工具，而使用深度学习算法或人工智能算法来自动地编辑时间振幅值阵列和谱质心值阵列，以实时生成触觉输出，用于使用一个或更多个致动器产生触觉效果。生触觉效果。生触觉效果。
【技术实现步骤摘要】
【国外来华专利技术】使用谱质心来创作沉浸式触觉体验的系统和方法
专利
[0001]本申请要求于2020年7月12日提交的第63/050,834号美国临时申请的递交日的权益，其教导通过引用以其整体被并入本文。
[0002]本专利技术涉及一种用于使用音频信号分析来生成触觉数据的触觉处理系统。更具体地，本专利技术涉及使用谱质心(spectral centroid)来分析音频信号，并对该音频信号进行创作以产生触觉数据。
[0003]背景
[0004]触觉通常是指作为反馈力或振动提供给用户的触摸或感知的感觉。具有触觉反馈的电子计算设备可以显著改善人机接口(human computer interface)。反馈力提供对触摸和感觉的感知，这可以增强用户体验。随着技术进步，用户接口与触觉集成在一起。由不同类型的设备提供的触觉反馈是可区分的，从而提供了不同的感觉和触觉。
[0005]需要通过滤波、变换和编辑的复杂过程，以高效地将音频信号转换为触觉数据，从而提供令人满意的用户体验。为了提供令人满意的用户体验，音频信号被转换为触觉数据，该触觉数据然后可以被创作和增强。触觉体验使用触觉致动器(例如，线性谐振致动器(Linear Resonant Actuator，LRA)、宽带或高清晰度致动器、压电致动器(piezo
‑
electric actuator))等被传递。触觉体验的传递取决于信号的音频到触觉转换、触觉致动器的响应特性、设备特定数据、以及其他因素。因此，需要致动器类型及其响应特性的适当匹配来增强用户体验。
[0006]美国申请20200379570提供了一种触觉系统和方法，用于定义包括触觉事件和音频事件两者的触觉模式。触觉模式可以由应用编程接口调用，该应用编程接口具有触觉映射功能，该触觉映射功能具有触觉体验映射功能，该触觉体验映射功能在不同制造商或不同型号的具有不同触觉硬件的电子设备上生成相同或相似的触觉体验。现有技术提供了在不同设备上映射触觉功能以获得相似体验的方法。然而，所公开的专利技术没有提供对音频内容的创作，替代地，该专利技术提供了在音频事件内具有嵌入的触觉事件的触觉模式传递。
[0007]美国申请20210181851涉及一种自适应触觉信号生成设备。该自适应信号生成设备包括频率分析单元，该频率分析单元用于在频域中转换和分析所接收的音频信号。频率均衡器单元允许自适应触觉信号生成设备抑制或放大频域中的一个或多个特定频率。触觉事件提取单元基于经抑制或经放大的频率提取触觉事件。然后，该设备生成与触觉事件信号相对应的触觉信号。控制单元针对每个频率对所提取的触觉事件信号的产生进行计数。然后，它使已经被生成了超过特定预定义次数的频率的频率增益增加。该专利技术提供了一种在频域中生成触觉事件的方法，但没有提供至少基于设备特性的对触觉输出的分析和创作。
[0008]美国申请20210110681提供了一种使用滤波器组和谐波冲击源分离(harmonic percussive source separation)将音频信号创作为触觉信号的方法，但是使用了不同的时间振幅频率分析方法。相比之下，本申请使用计算谱质心来将音频信号创作为触觉输出的新颖方法。
[0009]美国专利10,467,870提供了一种触觉转换系统，该触觉转换系统分析音频信号、基于对音频信号的分析来生成触觉信号。然后，该触觉转换系统通过一个或更多个致动器播放所生成的触觉信号，以产生触觉效果。该触觉转换系统基于音频信号的一个或更多个音频特性，来将所生成的触觉信号映射到不同的致动器。该专利技术公开了音频信号到触觉信号的转换，但是没有公开至少基于设备参数来对音频信号进行创作。
[0010]美国专利9,448,626公开了一种触觉转换系统，该触觉转换系统截取音频数据的多个帧，将该多个帧转换为触觉信号，并通过致动器播放所创建的触觉信号，以产生触觉效果。该触觉信号是基于每个音频数据帧的最大值的。该最大值定义触觉信号的幅度。触觉信号被施加到致动器以生成一个或更多个触觉效果。该专利技术提供了一种触觉转换系统，但是没有公开对音频内容的创作以获得沉浸式触觉体验。
[0011]美国专利9,092,059公开了一种触觉转换系统，该触觉转换系统接收音频信号的多个音频流。然后，该触觉转换系统评估每个流，以确定一个或更多个参数中的至少一个参数是否指示该流要被转换为触觉效果。然后，触觉转换系统识别包括至少一个参数的一个或更多个流是否要被转换为触觉效果。该触觉转换系统还针对所识别的流基于每个相应流生成触觉信号，并且针对所识别的流向致动器发送每个触觉信号以生成触觉效果。该专利技术没有公开对来自音频信号的经转换的触觉数据的创作。
[0012]所有引用的现有技术均未能公开新颖且独特的创作触觉输出的特征。所公开的方法和系统提供了：音频信号的分析、音频信号到触觉输出的转换、基于设备特性和嵌入的致动器特性将经转换的音频信号创作为触觉信号、以及为了沉浸式触觉体验将频带变换为触觉感知带宽。
[0013]专利技术概述
[0014]本专利技术提供了一种由计算机实现的方法，该方法将音频信号编辑和变换为触觉数据以提供沉浸式触觉体验。该由计算机实现的方法在预处理器模块处接收音频信号，以针对具有固定数量的采样音频数据的音频帧来确定音频信号的峰到峰振幅。在多个实施例中，音频帧可以包括一个或更多个音频分组。替代地，可以基于包括音频分组或音频采样数据的固定窗口大小或可变窗口大小来处理音频信号。该由计算机实现的方法执行快速傅里叶变换，以得出经预处理的音频信号的频率分布。快速傅里叶变换包括时间振幅值阵列、时间频率值阵列、和时间振幅频率值阵列。随后，该由计算机实现的方法计算得出的频率分布的加权平均值，以来计算或得出针对固定大小窗口或可变大小窗口的采样音频数据的谱质心。然后，用新的采样音频数据替换该采样音频数据，并计算谱质心。此后，该由计算机实现的方法计算音频信号的新的谱质心，以产生谱质心阵列。该谱质心阵列被提供给用户接口，以为了沉浸式触觉体验而修改谱质心阵列。最后，该由计算机实现的方法产生计算机可读文件，该计算机可读文件能够由电子计算设备上的再合成模块解析以提供沉浸式触觉体验。
[0015]在该实施方式的变体中，谱质心值阵列可以包括时间振幅值阵列和时间频率值阵列，谱质心值阵列可以使用用户接口来修改。谱质心值阵列的修改是至少基于设备特定信息和致动器特定信息的。在多个实施例中，设备特定信息包括设备质量、设备类型、设备操作特性和嵌入在设备中的致动器特定特性。
[0016]经预处理的音频信号的谱质心是通过将每个频率的频谱能量与每个频带的平均
值乘积之和除以所有频带的频谱能量之和来计算的。
[0017]在另一个实施方式中，一种由计算机实现的将音频信号创作和变换为触觉输出以提供沉浸式触觉体验的方法包括以下步骤：在预处理器处针对固定数量的音频样本接收音频信号；对经预处理的音频样本应用谐波冲击源分离，其中，该谐波冲击源分离包括谐波谱图和冲击谱图；针对该谐波谱图和该冲击谱图计算时间振幅值阵列和时间频率值阵列；将谱质心阵列、时间本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种由计算机实现的方法，所述由计算机实现的方法将音频信号编辑和变换为触觉数据以提供沉浸式触觉体验，所述由计算机实现的方法包括：在预处理器处接收所述音频信号，以针对具有固定数量的采样音频数据的帧确定所述音频信号的峰到峰振幅；进行快速傅里叶变换，以得出所述音频信号的频率分布；计算所得出的频率分布的加权平均值，以得出所述采样音频数据的谱质心；用新的采样音频数据替换预定义数量的采样音频数据，并计算所述音频信号的新的谱质心，以产生谱质心阵列；在用户接口中提供所述谱质心阵列，以修改所述谱质心阵列，从而获得所述沉浸式触觉体验；以及创建计算机可读文件，以提供沉浸式触觉体验。2.根据权利要求1所述的由计算机实现的方法，其中，包括时间振幅值阵列和时间频率值阵列的所述谱质心值阵列是使用用户接口来修改的。3.根据权利要求1所述的由计算机实现的方法，其中，对所述谱质心值阵列的修改是基于设备特定信息和致动器特定信息的。4.根据权利要求1所述的由计算机实现的方法，其中，所述设备特定信息包括设备质量、设备类型、设备操作特性和嵌入在设备中的致动器特定特性。5.根据权利要求1所述的由计算机实现的方法，其中，所述谱质心是通过将每个频率的频谱能量与每个频带的平均值乘积之和除以所有频带的频谱能量之和来计算的。6.一种由计算机实现的方法，所述由计算机实现的方法将音频信号创作和变换为触觉输出以提供沉浸式触觉体验，所述由计算机实现的方法包括：在预处理器处针对固定数量的音频样本接收所述音频信号；对经预处理的固定数量的音频样本应用谐波冲击源分离，其中，所述谐波冲击源分离包括谐波谱图和冲击谱图；为所述谐波谱图和所述冲击谱图计算时间振幅值阵列和时间频率值阵列；计算所述谐波谱图和所述冲击谱图的谱质心阵列；将所述谱质心阵列、所述时间振幅值阵列和所述时间频率值阵列提供给用户接口，以修改所述谐波谱图和所述冲击谱图的值阵列中的至少一个；对经创作的谱质心阵列、所述时间振幅值阵列和所述时间频率值阵列进行变换，以适配到触觉感知带宽中；以及创建计算机可读文件。7.根据权利要求6所述的由计算机实现的方法，其中，所述谐波冲击源分离还包括残余谱图，所述残余谱图是通过从经变换的谐波冲击源分离谱图中减去所述谐波谱图和所述冲击谱图而获得的。8.根据权利要求6所述的由计算机实现的方法，其中，所述经创作的谱质心阵列、所述时间振幅值阵列和所述时间频率值阵列的变换是至少基于设备特定信息和致动器特定信息的。9.根据权利要求6所述的由计算机实现的方法，其中，针对谐波分量和冲击分量的每个谱质心是通过将所述频谱能量与每个频带的平均值乘积之和除以所有频带的频谱能量之
和来计算的。10.一种触觉创作系统，所述触觉创作系统用...
【专利技术属性】
技术研发人员：M，
申请(专利权)人：元平台公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。