一种增强现实通信的方法、装置及系统制造方法及图纸

一种增强现实通信的方法、装置及系统，用以提供一种AR融入语音视频通话的实现方式，以提升用户体验。在终端设备和AR媒体处理网元之间建立辅助数据通道和媒体流通道，从而有效的将AR融入到语音视频通话中。此外，AR辅助数据和媒体流所走的传输路径相同，可以减少时延。AR媒体处理网元可以为具备AR处理能力的IMS接入网关或者媒体资源功能MRF。入网关或者媒体资源功能MRF。入网关或者媒体资源功能MRF。

【技术实现步骤摘要】
一种增强现实通信的方法、装置及系统


[0001]本申请实施例涉及通信
，尤其涉及一种增强现实通信的方法、装置及系统。

技术介绍

[0002]长期演进语音承载(voice over long term evolution，VoLTE)是架构在第四代(the 4th generation，4G)网络上全IP条件下的端到端语音方案。VoLTE使得用户之间通信时，接通等待时间更短，并且语音视频通话质量更高。增强现实(Augmented Reality，AR)是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。增强现实技术不仅能够有效体现出真实世界的内容，也能够促使虚拟的信息内容显示出来。如何将AR融入语音视频通话中，目前并没有一种有效的实现方式。

技术实现思路

[0003]本申请实施例提供一种增强现实通信的方法及装置，提供一种AR融入语音视频通话的实现方式，进而提升用户体验。
[0004]第一方面，本申请实施例提供一种增强现实AR通信的系统，包括互联网协议多媒体子系统IMS核心网元和第一AR媒体处理网元；所述IMS核心网元，用于控制所述第一AR媒体处理网元与第一终端设备之间建立第一媒体流通道和辅助数据通道；所述第一AR媒体处理网元，用于通过所建立的所述辅助数据通道接收来自第一终端设备的第一AR辅助数据，以及通过所建立的所述媒体流通道接收所述第一终端设备和第二终端设备进行AR通信的第一媒体流；所述第一AR媒体处理网元，还用于根据所述第一AR辅助数据对所述媒体流进行增强处理得到第一AR媒体流，并通过所述媒体流通道向所述第一终端设备发送所述第一AR媒体流。通过上述方案，在终端设备和AR媒体处理网元之间建立辅助数据通道和媒体流通道，从而有效的将AR融入到语音视频通话中。此外，AR辅助数据和媒体流所走的传输路径相同，可以减少时延。
[0005]在一种可能的设计中，所述第一AR媒体处理网元可以为具备AR处理能力的IMS接入网关或者媒体资源功能MRF。比如，在终端设备之间进行点对点通信时，第一AR媒体处理网元可以是IMS接入网关。再比如，终端设备之前进行AR会议时，第一AR媒体处理网元可以是MRF。
[0006]在一种可能的设计中，所述第一AR媒体处理网元位于第一终端设备所属的(或所在的)IMS网络中。第一终端设备所在的IMS网络中的AR媒体处理网元具备AR处理能力，采用就近原则通过第一终端设备所在的IMS网络中的AR媒体处理网元来执行增强处理，可以进一步降低时延。
[0007]在一种可能的设计中，所述系统还包括位于第二终端设备所属的(或所在的)IMS
网络中的第二AR媒体处理网元；所述第一AR媒体处理网元，还用于向所述第二AR媒体处理网元发送所述AR媒体流；所述第二AR媒体处理网元，用于接收所述第一AR媒体处理网元发送的所述AR媒体流，并所述第二终端设备发送所述AR媒体流。
[0008]在一种可能的设计中，所述第一AR媒体处理网元位于第二终端设备所属的(或所在的)IMS网络中，所述系统还包括位于第一终端设备所属的(或所在的)IMS网络中的第三AR媒体处理网元，第三AR媒体处理网元不具备AR处理能力，所述第一AR媒体处理网元与第一终端设备之间的媒体流通道包括所述第一AR媒体处理网元与第三AR媒体处理网元之间的第一媒体流通道和所述第三AR媒体处理网元与所述第一终端设备之间的第二媒体流通道；
[0009]所述第三AR媒体处理网元，用于通过所述第二媒体流通道接收来自第一终端设备的所述媒体流，通过所述第一媒体流通道向所述第一AR媒体处理网元转发所述媒体流；通过所述第一媒体流通道接收来自第一AR媒体处理网元的AR媒体流，以及通过所述第二媒体流通道向所述第一终端设备发送所述AR媒体流。
[0010]上述设计中，第一终端设备所在的IMS网络中的AR媒体处理网元不具备AR处理能力时，借助于第二终端设备所在的IMS网络中的AR媒体处理网元来为第一终端设备提供增强处理功能。为AR融入音视频通话提供一种可行的方案。
[0011]在一种可能的设计中，所述第一AR媒体处理网元，还用于通过所述辅助数据通道接收来自第一终端设备的目标对象信息；所述AR媒体处理网元，还用于从第三方服务器获取所述目标对象信息对应的目标对象。
[0012]上述设计中，第三方服务器可以为终端设备的AR通信提供目标对象的素材，本申请中借助辅助数据通道来从第三方服务器获取目标对象。
[0013]在一种可能的设计中，所述目标对象为虚拟对象或者虚拟对象的标识；所述第一AR媒体处理网元，还用于通过所述辅助数据通道向所述第一终端设备发送所述虚拟对象或者所述虚拟对象的标识。由于多种场景需要用到虚拟对象，通过上述设计，借助辅助数据通道从第三方服务器来获取虚拟对象。
[0014]一种可能的设计中，目标对象信息包括所述第一终端设备所请求的虚拟对象类型，所述第一AR媒体处理网元通过辅助数据通道将所述虚拟对象类型的多个虚拟对象标识发送给第一终端设备。
[0015]在一种可能的设计中，所述第一AR媒体处理网元接收虚拟对象对应的多个虚拟对象标识后，保存所述虚拟对象类型与所述多个虚拟对象标识的对应关系。
[0016]在一种可能的设计中，所述第一AR媒体处理网元在通过辅助数据通道接收到虚拟对象类型时，可以先确定自身是否保存有该虚拟对象类型对应的虚拟对象标识，如果保存可以不再向第三方服务器获取该虚拟对象类型对应的虚拟对象标识。如果未保存，再向第三方服务器获取该虚拟对象类型的对应的虚拟对象标识，通过该方式可以减少获取带来的不必要的资源浪费。
[0017]在一种可能的设计中，所述方法还包括：
[0018]所述第一AR媒体处理网元通过辅助数据通道接收来自第一终端设备的第一虚拟对象标识，所述第一虚拟对象标识用于标识所述第一终端设备的用户在所述多个虚拟对象中选择的第一虚拟对象；第一AR媒体处理网元从第三方服务器获取所述第一虚拟对象标识
对应的第一虚拟对象，并通过所述辅助数据通道向第一终端设备发送该第一虚拟对象。
[0019]在一种可能的设计中，所述目标对象为现实背景对象，所述第一AR媒体处理网元，还用于通过所述媒体数据通道接收第一终端设备发送的所述AR通信产生的第二媒体流；
[0020]所述第一AR媒体处理网元，还用于将所述现实背景对象与第二媒体流渲染合成得到第二AR媒体流；通过所述媒体流通道向所述第一终端设备发送所述第二AR媒体流。在一些应用场景中，前景对象对应的背景画面是相对固定的，在该场景下，媒体流与背景画面之间的渲染操作由AR媒体处理网元来执行，可以降低终端设备的上行带宽的压力。
[0021]在一种可能的设计中，所述系统还包括应用服务器；
[0022]所述应用服务器，用于接收来自本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种增强现实AR通信的系统，其特征在于，包括互联网协议多媒体子系统IMS核心网元和第一AR媒体处理网元；所述IMS核心网元，用于控制所述第一AR媒体处理网元与第一终端设备之间建立第一媒体流通道和辅助数据通道；所述第一AR媒体处理网元，用于通过所建立的所述辅助数据通道接收来自第一终端设备的第一AR辅助数据，以及通过所建立的所述媒体流通道接收所述第一终端设备和第二终端设备进行AR通信的第一媒体流；所述第一AR媒体处理网元，还用于根据所述第一AR辅助数据对所述媒体流进行增强处理得到第一AR媒体流，并通过所述媒体流通道向所述第一终端设备发送所述第一AR媒体流。2.如权利要求1所述的系统，其特征在于，所述第一AR媒体处理网元为具备AR处理能力的IMS接入网关或者媒体资源功能MRF。3.如权利要求1或2所述的系统，其特征在于，所述第一AR媒体处理网元位于第一终端设备所属的IMS网络中。4.如权利要求3所述的系统，其特征在于，所述系统还包括位于第二终端设备所属的IMS网络中的第二AR媒体处理网元；所述第一AR媒体处理网元，还用于向所述第二AR媒体处理网元发送所述AR媒体流；所述第二AR媒体处理网元，用于接收所述第一AR媒体处理网元发送的所述AR媒体流，并所述第二终端设备发送所述AR媒体流。5.如权利要求1或2所述的系统，其特征在于，所述第一AR媒体处理网元位于第二终端设备所属的IMS网络中，所述系统还包括位于第一终端设备所属的IMS网络中的第三AR媒体处理网元，第三AR媒体处理网元不具备AR处理能力，所述第一AR媒体处理网元与第一终端设备之间的媒体流通道包括所述第一AR媒体处理网元与第三AR媒体处理网元之间的第一媒体流通道和所述第三AR媒体处理网元与所述第一终端设备之间的第二媒体流通道；所述第三AR媒体处理网元，用于通过所述第二媒体流通道接收来自第一终端设备的所述媒体流，通过所述第一媒体流通道向所述第一AR媒体处理网元转发所述媒体流；通过所述第一媒体流通道接收来自第一AR媒体处理网元的AR媒体流，以及通过所述第二媒体流通道向所述第一终端设备发送所述AR媒体流。6.如权利要求1
‑
5任一项所述的系统，其特征在于，所述第一AR媒体处理网元，还用于通过所述辅助数据通道接收来自第一终端设备的目标对象信息；所述AR媒体处理网元，还用于从第三方服务器获取所述目标对象信息对应的目标对象。7.如权利要求6所述的系统，其特征在于，所述目标对象为虚拟对象或者虚拟对象的标识；所述第一AR媒体处理网元，还用于通过所述辅助数据通道向所述第一终端设备发送所述虚拟对象或者所述虚拟对象的标识。8.如权利要求6所述的系统，其特征在于，所述目标对象为现实背景对象，所述第一AR媒体处理网元，还用于通过所述媒体数据通道接收第一终端设备发送的所述AR通信产生的第二媒体流；
所述AR媒体处理网元，还用于将所述现实背景对象与第二媒体流渲染合成得到第二AR媒体流；通过所述媒体流通道向所述第一终端设备发送所述第二AR媒体流。9.权利要求5
‑
8任一项所述的系统，其特征在于，所述系统还包括应用服务器；所述应用服务器，用于接收来自AR媒体处理网元的第一请求消息，并向所述第三方服务器转发所述第一请求消息；接收来自所述第三方服务器的第一响应消息，并向所述第一AR媒体处理网元转发所述第二响应消息。10.如权利要求9所述的系统，其特征在于，所述应用服务器配置有所述第三方服务器的地址；所述应用服务器，具体用于根据所述第三方服务器的地址向所述第三方服务器转发所述第一请求消息，以及向所述AR媒体处理网元转发所述第二响应消息。11.如权利要求5
‑
8任一项所述的系统，其特征在于，所述应用服务器，还用于在建立所述第一终端设备与所述第一AR媒体处理网元之间的辅助数据通道的流程中，向所述第一AR媒体处理网元发送所述第三方服务器的地址。12.一种增强现实AR通信的方法，其特征在于，包括：互联网协议多媒体子系统IMS核心网元接收来自第一终端设备的第一请求消息，所述第一请求消息用于请求建立辅助数据通道，所述辅助数据通道用于第一终端设备与AR媒体处理网元之间传输AR通信的辅助数据；所述IMS核心网元控制所述AR媒体处理网元与所述第一终端设备之间建立所述辅助数据通道。13.如权利要求12所述的方法，其特征在于，所述IMS核心网元控制所述AR媒体处理网元与所述第一终端设备之间建立所述辅助数据通道，包括：所述IMS核心网元向所述AR媒体处理网元发送第二请求消息，所述第二请求消息用于请求AR媒体处理网元与所述第一终端设备之间建立所述辅助数据通道；所述IMS核心网元接收所述AR媒体处理网元发送的第二响应消息，所述第二响应消息用于向IMS核心网元指示所述AR媒体处理网元对建立所述辅助数据通道的确认；所述IMS核心网元向所述第一终端设备发送第一响应消息，所述第一响应消息用于向第一终端设备指示所述AR媒体处理网元成功建立所述辅助数据通道。14.如权利要求12或13所述的方法，其特征在于，所述AR媒体处理网元为具备AR处理能力的IMS接入网关或者媒体资源功能MRF。15.如权利要求12
‑
13任一项所述的方法，其特征在于，所述AR媒体处理网元位于所述第一终端设备所属的IMS网络中或者位于所述第二终端设备所属的IMS网络中。16.如权利要求12
‑
15任一项所述的方法，其特征在于，所述第一请求消息和所述第二请求消息携带所述第一终端设备的用于建立所述辅助数据通道的第一描述参数；所述第一响应消息和所述第二响应消息携带所述AR媒体处理网元的用于建立所述辅助数据通道的第二描述参数。17.如权利要求13
‑
16任一项所述的方法，其特征在于，所述方法还包括：IMS核心网元向AR媒体处理网元发送查询请求，所述查询请求用于询问所述AR媒体处理网元是否具备AR处理能力；IMS核心网元接收所述AR媒体处理网元发送的查询响应，所述查询响应携带所述AR媒
体处理网元具备AR处理能力的信息。18.如权利要求12所述的方法，其特征在于，所述方法...

【专利技术属性】
技术研发人员：刘艳，高扬，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：