用于触觉数据编码和流传输的方法和系统技术方案

本发明专利技术涉及用于触觉数据编码和流传输的方法和系统。一种方法包括接收包括音频数据和/或视频数据的数字内容数据，利用接收到的数字内容数据中的至少一些来生成触觉数据，对触觉数据编码以便通过通信网络来高效传送，将经编码的触觉数据与接收到的数字内容数据复用，把用于对经编码的触觉数据解码的信息嵌入在复用的数据流的元数据中，以及通过通信网络发送复用的数据流。该方法可包括分析触觉数据以确定触觉数据的至少一个特性，并且对触觉数据编码可包括基于所确定的特性来对触觉数据编码以符合预定义的标准。

【技术实现步骤摘要】
用于触觉数据编码和流传输的方法和系统相关申请的交叉引用本申请要求2013年5月24日递交的标题为“SystemandMethodofHapticMediaEncoding”的美国临时专利申请61/827,341号、2013年9月6日递交的标题为“HapticContentCreation,DistributionandPlaybackSolution”的美国临时专利申请61/874,920号以及2013年11月21日递交的标题为“MethodandSystemforHapticDataEncodingandStreaming”的美国临时专利申请61/907,318号的优先权权益，所有这些申请的内容都通过引用被全部并入在此。
本专利技术涉及用于将触觉流(hapticstream)作为数字内容的一部分进行编码以便存储和/或通过网络传送的系统和方法。
技术介绍
随着越来越多地使用触觉效果来增强用户在众多的数字内容应用中的体验，希望高效地存储触觉数据和/或将触觉数据与其他数字内容(例如多媒体数据)一起通过网络传送。触觉数据流通常是以原始脉冲码调制(pulsecodemodulation,“PCM”)数据格式来表示的。为了通过网络(有线或无线)以8000样本每秒对以8比特采样的触觉数据进行流传输，在带宽上应当传送64千比特(8KB)每秒或者说额外的8KBps。然而，在流中会存在静默时段，即没有流传输触觉数据的时段，这会因为通过网络流传输零或不必要数据而浪费时间和带宽，并且对于内容分发者和终端用户都不是理想的。触觉数据流的存储面临着相同的挑战。对于数字内容流传输，自适应比特率流传输是在通过数字网络流传输或传送大量数据时改变音频/视频信号的质量的常见做法。这样做是为了使得通过适应于变化的网络速度和/或拥塞，音频和视频信号的平滑流传输或重放仍然可行。例如，如果视频在以非常高的质量流传输，然后通过其来流传输的网络经历了严重的网络拥塞，或者下载速度突然变得更慢，则流传输服务器仍可发送数据，但将发送更低质量数据以节约网络带宽。一旦拥塞已得到缓和并且网络速度已增大，发送的数据就将具有更高质量，因为网络带宽更自由可用了。这可通过以多个比特率对数据编码以使得要传送的数据的量少得多来完成。触觉信号如果只单纯是波形则可被解读为音频信号。然而，简单地像对待音频信号那样对待触觉信号并且以多个比特率对触觉信号转码可能不会提供太多空间来使质量适应于各种网络速度。高质量触觉信号可被认为具有8kHz的采样率，对于音频信号这被认为是非常低的采样率并且将是低质量信号。通过简单地降低触觉信号的质量，可引出完全不同的用户体验，并且通过就任意去除同一流的比特来降低质量可导致意外的纹理和信号的清晰性的消失。
技术实现思路
希望提供允许更高效地存储和/或通过网络传送触觉数据的触觉数据编码方案。根据本专利技术的一个方面，提供了一种方法，包括：接收包括音频数据和/或视频数据的数字内容数据；利用接收到的数字内容数据中的至少一些来生成触觉数据；对触觉数据编码以便通过通信网络来高效传送；将经编码的触觉数据与接收到的数字内容数据复用；把用于对经编码的触觉数据解码的信息嵌入在复用的数据流的元数据中；以及通过通信网络发送复用的数据流。在一实施例中，该方法可以是一种由计算机实现的方法，用于丰富关于触觉数据的用户数字内容体验，并且可实现在具有处理器的计算设备上，其中该处理器被编码有计算机程序模块。该由计算机实现的方法可将触觉数据与其他数字内容数据一起通过通信网络传送以便终端用户体验在耦合到网络的终端用户设备上生成的触觉效果。在一实施例中，该方法包括分析触觉数据以确定触觉数据的至少一个特性，并且对触觉数据编码包括基于所确定的特性来对触觉数据编码以符合预定义的标准。在一实施例中，预定义的标准包括具有最少数目的比特的输出经编码触觉比特流。在一实施例中，该方法包括从终端用户设备接收该终端用户设备的端点配置，并且预定义的标准包括保留触觉数据的与接收到的终端用户设备的端点配置相对应的频率范围。在一实施例中，对触觉数据编码包括基于所确定的特性从预定编码器的列表中选择编码器并应用所选择的编码器来变换触觉数据。在一实施例中，预定编码器的列表包括高级音频编码编码器和/或自由无损音频编码器。在一实施例中，触觉数据的特性包括用于基于触觉数据生成触觉效果的触觉输出设备的一种或多种类型、触觉数据的打算用例、触觉数据的量值、触觉数据的频率、以及触觉数据中的静默的长度。在一实施例中，触觉输出设备的类型包括由以下各项构成的组中的一个或多个：偏心旋转质量致动器、线性谐振致动器、压电致动器。在一实施例中，触觉数据的打算用例是从由音乐、电影和游戏构成的组中选择的。在一实施例中，对触觉数据编码包括向触觉数据应用预定编码器的列表中的每一个以生成经编码触觉数据流的相应列表，以及利用预定义的标准来从经编码触觉数据流的列表中选择一经编码触觉数据流。在一实施例中，对触觉数据编码包括对于密度因子的预定列表对触觉数据编码以生成多个经编码触觉数据流，每个经编码触觉数据流对应于密度因子的预定列表的一密度因子，并且该方法包括通过通信网络从终端用户设备接收网络带宽信息，并且基于与通信网络带宽的条件匹配的相应密度因子选择经编码触觉数据流之一来与接收到的数字内容数据复用。在一实施例中，多个经编码数据流中的第一经编码数据流对应于密度因子的预定列表的第一密度因子，并且多个经编码数据流中的第二经编码数据流对应于密度因子的预定列表的第二密度因子，并且其中第二经编码数据流包括比第一数据流更多的触觉数据并且第二密度因子大于第一密度因子。在一实施例中，该方法包括检测网络带宽信息的变化，基于与通信网络带宽的条件匹配的相应密度因子来选择经编码触觉数据流中的不同一个，以及将所选择的经编码数据流中的不同一个发送到终端用户设备。根据本专利技术的一个方面，提供了一种系统，其包括处理器，该处理器被配置为：接收包括音频数据和/或视频数据的数字内容数据，利用接收到的数字内容数据中的至少一些来生成触觉数据，对触觉数据编码以便通过通信网络来高效传送，将经编码的触觉数据与接收到的数字内容数据复用，把用于对经编码的触觉数据解码的信息嵌入在复用的数据流的元数据中，以及通过通信网络发送复用的数据流。该系统包括用户设备，该用户设备被配置为通过通信网络接收复用的经编码触觉数据和数字内容数据。该用户设备包括被配置为基于触觉数据输出触觉效果的触觉输出设备。在一实施例中，处理器还被配置为分析触觉数据以确定触觉数据的至少一个特性，并且基于所确定的特性来对触觉数据编码以符合预定义的标准。在一实施例中，处理器被配置为从用户设备接收用户设备的端点配置，并且预定义的标准包括保留触觉数据的与接收到的终端用户设备的端点配置相对应的频率范围。在一实施例中，处理器被配置为基于所确定的特性从预定编码器的列表中选择编码器并应用所选择的编码器来变换触觉数据。在一实施例中，处理器被配置为向触觉数据应用预定编码器的列表中的每一个以生成经编码触觉数据流的相应列表，并且利用预定义的标准来从经编码触觉数据流的列表中选择一经编码触觉数据流。在一实施例中，处理器被配置为对于密度因子的预定列表对触觉数据编码以生成多个经编码触觉数据流，每个本文档来自技高网...

【技术保护点】
一种方法，包括：接收包括音频数据和/或视频数据的数字内容数据；利用接收到的数字内容数据中的至少一些来生成触觉数据；对所述触觉数据编码以便通过通信网络来高效传送；将经编码的触觉数据与接收到的数字内容数据复用；把用于对经编码的触觉数据解码的信息嵌入在复用的数据流的元数据中；以及通过所述通信网络发送所述复用的数据流。

【技术特征摘要】
2013.05.24 US 61/827,341;2013.09.06 US 61/874,920;1.一种对触觉数据编码和流传输的方法，包括：接收包括音频数据和视频数据中的至少一个的数字内容数据；利用数字内容数据中的至少一些来生成触觉数据；根据密度因子对所述触觉数据编码以创建经编码的触觉数据以便通过通信网络来传送，其中对所述密度因子的改变调整经编码的触觉数据中的数据的量；将经编码的触觉数据与数字内容数据复用以创建复用的数据流；把用于对经编码的触觉数据解码的编码器信息嵌入在复用的数据流的文件容器的元数据中；以及通过所述通信网络发送所述复用的数据流。2.如权利要求1所述的方法，还包括：分析所述触觉数据以确定所述触觉数据的至少一个特性，其中，对触觉数据编码包括基于所述至少一个特性来对所述触觉数据编码以符合预定义的标准。3.如权利要求2所述的方法，其中，所述预定义的标准包括具有最少数目的比特的输出经编码触觉比特流。4.如权利要求2所述的方法，还包括：从终端用户设备接收所述终端用户设备的端点配置，其中，所述预定义的标准包括保留所述触觉数据的与接收到的所述终端用户设备的端点配置相对应的频率范围。5.如权利要求2所述的方法，其中，对触觉数据编码包括基于所述至少一个特性从预定编码器的列表中选择编码器并应用所选择的编码器来变换所述触觉数据。6.如权利要求5所述的方法，其中，所述预定编码器的列表包括高级音频编码编码器和/或自由无损音频编码器。7.如权利要求2所述的方法，其中，所述触觉数据的所述至少一个特性包括用于基于所述触觉数据生成触觉效果的触觉输出设备的一种或多种类型、所述触觉数据的打算用例、所述触觉数据的量值、所述触觉数据的频率、以及所述触觉数据中的静默的长度。8.如权利要求7所述的方法，其中，触觉输出设备的所述一种或多种类型包括以下各项的组中的一个或多个：偏心旋转质量致动器、线性谐振致动器、以及压电致动器。9.如权利要求7所述的方法，其中，所述触觉数据的打算用例是从包括音乐、电影和游戏的组中选择的。10.如权利要求2所述的方法，其中，对触觉数据编码包括：向所述触觉数据应用预定编码器的列表中的每一个以生成经编码触觉数据流的相应列表；以及利用所述预定义的标准来从所述经编码触觉数据流的列表中选择一经编码触觉数据流。11.如权利要求1所述的方法，其中，所述密度因子从密度因子的预定列表中选择，并且对触觉数据编码还包括根据密度因子的预定列表对所述触觉数据编码以生成多个经编码触觉数据流，所述多个经编码触觉数据流中的每个对应于所述密度因子的预定列表中的一个密度因子，并且其中所述方法还包括：通过通信网络从终端用户设备接收网络带宽信息；以及基于与通信网络带宽的条件匹配的相应密度因子选择所述多个经编码触觉数据流中的一个来与接收到的数字内容数据复用。12.如权利要求11所述的方法，其中，所述多个经编码触觉数据流中的第一经编码数据流对应于所述密度因子的预定列表的第一密度因子，并且所述多个经编码触觉数据流中的第二经编码数据流对应于所述密度因子的预定列表的第二密度因子，并且其中所述第二经编码数据流包括比所述第一经编码数据流更多的触觉数据并且所述第二密度因子大于所述第一密度因子。13.如权利要求11所述的方法，还包括：检测所述网络带宽信息的变化；基于与通信网络带宽的条件匹配的相应密度因子来选择所述多个经编码触觉数据流中的不同一个；以及将所选择的经编码数据流中的不同一个发送到所述终端用户设备。1...

【专利技术属性】
技术研发人员：L·凡，S·S·巴哈迪亚，S·D·兰克，C·J·尤尔里奇，J·F·迪奥内，HA·奥利弗，
申请(专利权)人：意美森公司，
类型：发明
国别省市：美国;US