一种基于webrtc传输VR应用数据的方法技术

本发明专利技术公开一种基于webrtc传输VR应用数据的方法，预先扩展RTP头部，扩展的内容包括：rtp_parameters.cc中增加URI；rtp_rtcp_defines.h中增加扩展类型；rtp_header_extensions.h中定义扩展数据及数据结构；rtp_header_extensions.cc中对数据进行打包与解包。本发明专利技术通过扩展RTP头部，在媒体包中传输需要的VR控制信息，控制信息与媒体数据同时达到，减少了客户端的处理逻辑；不需要等待数据通道的控制信息，减低了延迟；不需要单独发送控制信息块浪费传输层附加的IP头和UDP头，降低了带宽；项目使用中图像顺畅度明显提高。项目使用中图像顺畅度明显提高。项目使用中图像顺畅度明显提高。

【技术实现步骤摘要】
一种基于webrtc传输VR应用数据的方法


[0001]本专利技术涉及VR
，尤其涉及一种基于webrtc传输VR应用数据的方法。

技术介绍

[0002]在传统的VR数据传输方式上，通常选择直接使用UDP或者TCP传输，也有部分用户使用webrtc，用媒体通道传输视频，数据通道传输VR控制信息、姿态数据、按键等。现有技术中，如果直接使用UDP或者TCP，在丢包时出现花屏或者卡顿，不够流畅，影响用户体验；而直接使用webrtc，媒体通道和数据通道在传输策略上有所不同，VR控制信息到达不及时，或者后续处理逻辑比较复杂，在一定程度上加大了卡顿、延时，也影响了用户体验。
[0003]因此，现有技术存在缺陷，需要改进。

技术实现思路

[0004]本专利技术要解决的技术问题是：提供一种基于webrtc传输VR应用数据的方法，降低客户端的处理难度，减少客户端的卡顿、延时，提升用户体验。
[0005]本专利技术的技术方案如下：提供一种基于webrtc传输VR应用数据的方法，包括以下步骤。
[0006]S1：扩展RTP头部；扩展的内容包括：rtp_parameters.cc中增加URI；rtp_rtcp_defines.h中增加扩展类型；rtp_header_extensions.h中定义扩展数据及数据结构；rtp_header_extensions.cc中对数据进行打包与解包。
[0007]S2：VR客户端通过TCP连接到信令服务器。
[0008]S3：VR服务器通过TCP连接到信令服务器。
[0009]S4：VR客户端调用webrtc的CreateOffer创建offer SDP；SDP即Session Description Protocol，是一个用来描述多媒体会话的控制协议。
[0010]S5：SendOffer1：VR客户端通过TCP将offer SDP传给信令服务器。
[0011]S6：SendOffer2：信令服务器转发offer SDP给VR媒体服务器。
[0012]S7：CreateAnswer：VR媒体服务器收到offer，调用webrtc的CreateAnswer方法创建answer SDP。
[0013]S8：SendAnswer1：VR媒体服务器通过TCP将answer SDP传给信令服务器。
[0014]S9：SendAnswer2：信令服务器转发answer SDP给VR客户端。
[0015]S10：P2P媒体通信建立过程。
[0016]S11：VR客户端发送安装了安装该VR客户端的硬件的姿态索引、姿态数据给VR服务端。
[0017]S12：VR服务器发送VR视频数据给VR客户端，其中的RTP扩展头部中包含了新定义的扩展数据：姿态索引和桢发送时间。
[0018]本方案基于webrtc传输，可以充分利用webrtc现有的传输技术，如丢包重传，FEC，传输带宽评估等等，在实时传输方面优于直接使用UDP或者TCP；同时，通过扩展RTP头部，将
VR控制方面的信息加入到RTP扩展头部中，在媒体通道中与媒体数据一起传输，解决了媒体通道与数据通道传输策略不一致带来的卡顿和延时问题，提高了用户体验。
[0019]进一步地，所述姿态数据包括：硬件的位置信息、方向信息。
[0020]进一步地，所述URI为：rayvision:rayxr:vr
‑
control
‑
info。
[0021]进一步地，所述扩展类型为：RTPExtensionType:kRtpExtensionVRConrtolInfo。
[0022]进一步地，所述数据结构包括：ID；Len：数据长度；poseId：姿态索引，客户端产生；frameSentTime：桢发送时间，服务端产生。
[0023]进一步地，所述硬件为头戴式VR显示设备。
[0024]进一步地，所述VR服务端接收到硬件的姿态数据并根据姿态数据对图像进行渲染，然后连同渲染用到的姿态数据一起返回给VR客户端。
[0025]采用上述方案，本专利技术提供一种基于webrtc传输VR应用数据的方法，通过扩展RTP头部，在媒体包中传输需要的VR控制信息，控制信息与媒体数据同时达到，减少了客户端的处理逻辑；不需要等待数据通道的控制信息，减低了延迟；不需要单独发送控制信息块浪费传输层附加的IP头和UDP头，降低了带宽；项目使用中图像顺畅度明显提高。
附图说明
[0026]图1为本专利技术的VR客户端、信令服务器、VR服务器示意图之间的步骤流程图；
[0027]图2为数据结构的示意图。
具体实施方式
[0028]以下结合附图和具体实施例，对本专利技术进行详细说明。
[0029]请参阅月图1和图2，本专利技术提供一种基于webrtc传输VR应用数据的方法，包括以下步骤。
[0030]S1：扩展RTP头部；扩展的内容包括：rtp_parameters.cc中增加URI；rtp_rtcp_defines.h中增加扩展类型；rtp_header_extensions.h中定义扩展数据及数据结构；rtp_header_extensions.cc中对数据进行打包与解包。所述URI为：rayvision:rayxr:vr
‑
control
‑
info。所述扩展类型为：RTPExtensionType:kRtpExtensionVRConrtolInfo。所述数据结构包括：ID；Len：数据长度(len)；poseId：姿态索引，客户端产生；frameSentTime：桢发送时间，服务端产生。
[0031]S2：VR客户端通过TCP连接到信令服务器。
[0032]S3：VR服务器通过TCP连接到信令服务器。
[0033]S4：VR客户端调用webrtc的CreateOffer创建offer SDP；SDP即Session Description Protocol，是一个用来描述多媒体会话的控制协议。
[0034]S5：SendOffer1：VR客户端通过TCP将offer SDP传给信令服务器。
[0035]S6：SendOffer2：信令服务器转发offer SDP给VR媒体服务器。
[0036]S7：CreateAnswer：VR媒体服务器收到offer，调用webrtc的CreateAnswer方法创建answer SDP。
[0037]S8：SendAnswer1：VR媒体服务器通过TCP将answer SDP传给信令服务器。
[0038]S9：SendAnswer2：信令服务器转发answer SDP给VR客户端。
[0039]S10：P2P媒体通信建立过程。
[0040]S11：VR客户端发送安装了安装该VR客户端的硬件的姿态索引、姿态数据给VR服务端。所述硬件为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于webrtc传输VR应用数据的方法，其特征在于，包括以下步骤：S1：扩展RTP头部；扩展的内容包括：rtp_parameters.cc中增加URI；rtp_rtcp_defines.h中增加扩展类型；rtp_header_extensions.h中定义扩展数据及数据结构；rtp_header_extensions.cc中对数据进行打包与解包；S2：VR客户端通过TCP连接到信令服务器；S3：VR服务器通过TCP连接到信令服务器；S4：VR客户端调用webrtc的CreateOffer创建offer SDP；SDP即Session Description Protocol，是一个用来描述多媒体会话的控制协议；S5：SendOffer1：VR客户端通过TCP将offer SDP传给信令服务器；S6：SendOffer2：信令服务器转发offer SDP给VR媒体服务器；S7：CreateAnswer：VR媒体服务器收到offer，调用webrtc的CreateAnswer方法创建answer SDP；S8：SendAnswer1：VR媒体服务器通过TCP将answer SDP传给信令服务器；S9：SendAnswer2：信令服务器转发answer SDP给VR客户端；S10：P2P媒体通信建立过程；S11：VR客户端发送安装了安装该VR客户端的硬件的姿态索引、...

【专利技术属性】
技术研发人员：罗俊华，邹琼，周双全，
申请(专利权)人：深圳市瑞云科技有限公司，
类型：发明
国别省市：