基于扩展现实的数据处理方法以及系统技术方案

本说明书实施例提供基于扩展现实的数据处理方法以及系统，其中基于扩展现实的数据处理方法包括：采集扩展现实场景中，目标虚拟用户在预设时间区间内生成的音频数据，确定与音频数据对应的、目标虚拟用户的虚拟动作，并根据虚拟动作确定目标虚拟用户的动画数据，根据预设时间区间，在音频数据的编码结果中添加对应的时间戳，生成目标编码结果，并在动画数据中添加对应的时间戳，生成目标动画数据，将目标编码结果通过音频传输通道发送至客户端，并将目标动画数据通过动画数据传输通道发送至客户端，以使客户端对目标编码结果进行解码，并根据时间戳，对生成的解码结果及动画数据进行同步播放。行同步播放。行同步播放。

【技术实现步骤摘要】
基于扩展现实的数据处理方法以及系统


[0001]本说明书实施例涉及扩展现实
，特别涉及基于扩展现实的数据处理方法。

技术介绍

[0002]扩展现实技术，是一种全新的人机交互技术，该技术可以模拟现实场景，让使用者能够通过虚拟现实系统，感受到客观物理世界中的事物，并且能突破空间、时间以及其他客观限制，感受真实世界中无法亲身经历的体验，以将真实世界信息和虚拟世界信息“无缝集成”。
[0003]目前常见的扩展现实场景包括虚拟游戏场景以及虚拟直播场景等。但是目前的扩展现实场景，其实现方式通常是将多媒体数据发送至用户终端，由用户终端从多媒体数据中分离出相应的视频数据和音频数据，通过在显示器显示视频数据，并通过扬声器播放音频数据，从而实现多媒体数据的播放。
[0004]但这种处理方式，由于视频数据的处理时间一般会比音频数据的处理时间长，导致视频播放会落后于音频，造成音画不同步的现象。因此，亟需一种有效的方法以解决此类问题。

技术实现思路

[0005]有鉴于此，本说明书实施例提供了基于扩展现实的数据处理方法。本说明书一个或者多个实施例同时涉及基于扩展现实的数据处理装置，一种基于扩展现实的数据处理系统，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
[0006]根据本说明书实施例的第一方面，提供了一种基于扩展现实的数据处理方法，包括：
[0007]采集扩展现实场景中，目标虚拟用户在预设时间区间内生成的音频数据；
[0008]确定与所述音频数据对应的、所述目标虚拟用户的虚拟动作，并根据所述虚拟动作确定所述目标虚拟用户的动画数据；
[0009]根据所述预设时间区间，在所述音频数据的编码结果中添加对应的时间戳，生成目标编码结果，并在所述动画数据中添加对应的时间戳，生成目标动画数据；
[0010]将所述目标编码结果通过音频传输通道发送至客户端，并将所述目标动画数据通过动画数据传输通道发送至所述客户端，以使所述客户端对所述目标编码结果进行解码，并根据所述时间戳，对生成的解码结果及所述动画数据进行同步播放。
[0011]根据本说明书实施例的第二方面，提供了一种基于扩展现实的数据处理装置，包括：
[0012]采集模块，被配置为采集扩展现实场景中，目标虚拟用户在预设时间区间内生成的音频数据；
[0013]确定模块，被配置为确定与所述音频数据对应的、所述目标虚拟用户的虚拟动作，并根据所述虚拟动作确定所述目标虚拟用户的动画数据；
[0014]添加模块，被配置为根据所述预设时间区间，在所述音频数据的编码结果中添加对应的时间戳，生成目标编码结果，并在所述动画数据中添加对应的时间戳，生成目标动画数据；
[0015]发送模块，被配置为将所述目标编码结果通过音频传输通道发送至客户端，并将所述目标动画数据通过动画数据传输通道发送至所述客户端，以使所述客户端对所述目标编码结果进行解码，并根据所述时间戳，对生成的解码结果及所述动画数据进行同步播放。
[0016]根据本说明书实施例的第三方面，提供了另一种基于扩展现实的数据处理方法，包括：
[0017]通过动画数据传输通道接收扩展现实场景中，目标虚拟用户在预设时间区间内生成的动画数据，其中，所述动画数据中包含第一时间戳；
[0018]通过音频传输通道接收扩展现实场景中，所述目标虚拟用户在预设时间区间内生成的音频数据的编码结果，其中，所述编码结果中包含第二时间戳；
[0019]对所述编码结果进行解码，并基于所述动画数据进行动画渲染；
[0020]根据所述第一时间戳及所述第二时间戳，在所述扩展现实场景中对生成的解码结果及动画渲染结果进行同步播放。
[0021]根据本说明书实施例的第四方面，提供了另一种基于扩展现实的数据处理装置，包括：
[0022]第一接收模块，被配置为通过动画数据传输通道接收扩展现实场景中，目标虚拟用户在预设时间区间内生成的动画数据，其中，所述动画数据中包含第一时间戳；
[0023]第二接收模块，被配置为通过音频传输通道接收扩展现实场景中，所述目标虚拟用户在预设时间区间内生成的音频数据的编码结果，其中，所述编码结果中包含第二时间戳；
[0024]处理模块，被配置为对所述编码结果进行解码，并基于所述动画数据进行动画渲染；
[0025]播放模块，被配置为根据所述第一时间戳及所述第二时间戳，在所述扩展现实场景中对生成的解码结果及动画渲染结果进行同步播放。
[0026]根据本说明书实施例的第五方面，提供了另一种基于扩展现实的数据处理系统，包括：
[0027]第一客户端、云服务器以及至少一个第二客户端；
[0028]所述第一客户端，用于采集扩展现实场景中，目标虚拟用户在预设时间区间内生成的音频数据，确定与所述音频数据对应的、所述目标虚拟用户的虚拟动作，并根据所述虚拟动作确定所述目标虚拟用户的动画数据，根据所述预设时间区间，在所述音频数据的编码结果中添加对应的时间戳，生成目标编码结果，并在所述动画数据中添加对应的时间戳，生成目标动画数据，将所述目标编码结果及所述目标动画数据发送至所述云服务器；
[0029]所述云服务器，用于通过音频传输通道将所述目标编码结果传输至所述至少一个第二客户端，并通过动画数据传输通道将所述目标动画数据传输至所述至少一个第二客户端；
[0030]所述至少一个第二客户端，用于对所述目标编码结果进行解码，以及，基于所述动画数据进行动画渲染，并根据所述时间戳，对生成的解码结果及动画渲染结果进行同步播放。
[0031]根据本说明书实施例的第六方面，提供了一种计算设备，包括：
[0032]存储器和处理器；
[0033]所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令实现任意一项所述基于扩展现实的数据处理方法的步骤。
[0034]根据本说明书实施例的第七方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现任意一项所述基于扩展现实的数据处理方法的步骤。
[0035]根据本说明书实施例的第八方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述基于扩展现实的数据处理方法的步骤。
[0036]本说明书一个实施例通过采集扩展现实场景中，目标虚拟用户在预设时间区间内生成的音频数据，确定与所述音频数据对应的、所述目标虚拟用户的虚拟动作，并根据所述虚拟动作确定所述目标虚拟用户的动画数据，根据所述预设时间区间，在所述音频数据的编码结果中添加对应的时间戳，生成目标编码结果，并在所述动画数据中添加对应的时间戳，生成目标动画数据，将所述目标编码结果通过音频传输通道发送至客户端，并将所述目标动画数据通过动画数据传输通道发送至所述客户端，以使所述客户端对所述目标编码结果进行解码，并根据所述时间戳，对生成的解码结果及所述动画数据进行同步播放。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于扩展现实的数据处理方法，包括：采集扩展现实场景中，目标虚拟用户在预设时间区间内生成的音频数据；确定与所述音频数据对应的、所述目标虚拟用户的虚拟动作，并根据所述虚拟动作确定所述目标虚拟用户的动画数据；根据所述预设时间区间，在所述音频数据的编码结果中添加对应的时间戳，生成目标编码结果，并在所述动画数据中添加对应的时间戳，生成目标动画数据；将所述目标编码结果通过音频传输通道发送至客户端，并将所述目标动画数据通过动画数据传输通道发送至所述客户端，以使所述客户端对所述目标编码结果进行解码，并根据所述时间戳，对生成的解码结果及所述动画数据进行同步播放。2.根据权利要求1所述的基于扩展现实的数据处理方法，所述采集扩展现实场景中，目标虚拟用户在预设时间区间内生成的音频数据，包括：采集扩展现实场景中，目标虚拟用户在至少一个第一预设时间区间内生成的音频数据；相应地，所述根据所述虚拟动作确定所述目标虚拟用户的动画数据，包括：按照所述至少一个第一预设时间区间的时间顺序，对所述音频数据对应的至少一个虚拟动作进行整合，生成所述目标虚拟用户在第二预设时间区间内的动画数据，其中，所述第二预设时间区间由所述至少一个第一预设时间区间组成。3.根据权利要求2所述的基于扩展现实的数据处理方法，所述按照所述至少一个第一预设时间区间的时间顺序，对所述音频数据对应的至少一个虚拟动作进行整合，生成所述目标虚拟用户在第二预设时间区间内的动画数据，包括：按照预设帧率，确定第二预设时间区间对应的第一时间长度；在确定所述第一时间长度大于所述第一预设时间区间对应的第二时间长度的情况下，确定所述第二预设时间区间对应的至少一个虚拟动作；根据所述至少一个第一预设时间区间的时间顺序，对所述至少一个虚拟动作进行排序，并根据排序结果确定目标虚拟动作；对所述目标虚拟动作进行整合，生成所述目标虚拟用户在所述第二预设时间区间内的动画数据。4.根据权利要求2或3所述的基于扩展现实的数据处理方法，所述根据所述预设时间区间，在所述音频数据的编码结果中添加对应的时间戳，生成目标编码结果，并在所述动画数据中添加对应的时间戳，生成目标动画数据，包括：根据所述第一预设时间区间，在所述音频数据的编码结果中添加对应的时间戳，生成目标编码结果；以及，根据所述第二预设时间区间，在所述动画数据中添加对应的时间戳，生成目标动画数据。5.根据权利要求1所述的基于扩展现实的数据处理方法，所述确定与所述音频数据对应的、所述目标虚拟用户的虚拟动作，包括：获取所述目标虚拟用户的预设虚拟动作类型，并确定所述目标虚拟动作类型对应的视觉音素；根据所述音频数据确定与所述视觉音素中目标视觉音素对应的音素值；
根据所述目标视觉音素对应的音素值，确定所述目标虚拟用户对应的、所述目标虚拟动作类型的虚拟动作。6.根据权利要求1所述的基于扩展现实的数据处理方法，所述将所述目标编码结果通过音频传输通道发送至客户端，并将所述目标动画数据通过动画数据传输通道发送至所述客户端，包括：将所述目标编码结果及所述目标动画数据发送至云服务器，以使所述云服务器将所述目标编码结果通过音频传输通道发送至客户端，并将所述目标动画数据通过动画数据传输通道发送至所述客户端。7.根据权利要求1所述的基于扩展现实的数据处理方法，还包括：根据所述目标编码结果中的时间戳，将所述目标编码结果添加至音频数据发送队列；以及，根据所...

【专利技术属性】
技术研发人员：汤旭涛，耿文波，蒋佳忆，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：