3D场景交互方法、装置和系统制造方法及图纸

本发明专利技术提出了一种3D场景交互方法、装置和系统，方法包括：信令服务器响应终端发送的连接请求信息生成连接请求指令，将连接请求指令发送至渲染服务器；渲染服务器响应连接请求指令与终端建立连接并生成3D场景模型启动视频流，将3D场景模型启动视频流发至终端进行解码展示；信令服务器获取终端发送的操作信息，将操作信息解析成相对应的3D场景应用控制指令，将3D场景应用控制指令发送至安装有3D场景模型的渲染服务器；渲染服务器响应3D场景应用控制指令生成操作结果动作视频流，并将操作结果动作视频流发送至终端进行解码展示；本发明专利技术通过服务器端渲染技术减弱终端对GPU的需求，节省用户成本，扩大应用范围，提升用户体验。提升用户体验。提升用户体验。

【技术实现步骤摘要】
3D场景交互方法、装置和系统


[0001]本专利技术涉及3D场景展示的
，特别涉及一种3D场景交互方法、装置和系统。

技术介绍

[0002]目前，3D大场景渲染一般用CIM系统中，但展现3D场景的终端设备都需要强大的GPU支持，否则很难很好的展现大场景的3D模型。GPU在个人电脑或者移动设备上处理能力弱，往往由于条件限制CIM模型只用于中心大屏展示。这是因为终端GPU处理能力不足，不能集群并行处理，经常出现卡顿，无法操作等现象；而且GPU成本高，费用高，增加终端的GPU需要较高的成本。

技术实现思路

[0003]本专利技术提出一种3D场景交互方法、装置和系统，能够降低终端对GPU的需求，节省用户成本，扩大应用范围，提升用户体验。
[0004]第一方面，本专利技术提供了一种3D场景交互方法，所述方法应用于信令服务器，所述方法包括：获取终端发送的连接请求信息；其中，所述终端上安装有3D场景应用；根据所述连接请求信息向所述安装有3D场景模型的渲染服务器发送连接请求指令，以使所述渲染服务器响应所述连接请求指令与所述终端建立连接并生成3D场景模型启动视频流，并将所述3D场景模型启动视频流发送至所述终端进行解码展示；获取终端发送的操作信息；其中，所述终端响应于用户对所述3D场景应用的操作生成所述操作信息；将所述操作信息解析成相对应的3D场景应用控制指令；将所述3D场景应用控制指令发送至安装有3D场景模型的渲染服务器，以使所述渲染服务器响应所述3D场景应用控制指令生成操作结果动作视频流，并将所述操作结果动作视频流发送至所述终端进行解码展示。
[0005]在可选的实施方式中，所述操作信息包括流媒体控制信息和3D场景模型控制信息；获取终端发送的操作信息，包括：获取所述终端通过socket tcp/udp协议发送的流媒体控制信息或者3D场景模型控制信息；将所述操作信息解析成相对应的3D场景应用控制指令，包括：将所述流媒体控制信息按GB/28181规范处理，得到流媒体控制指令；或者，将所述3D场景模型控制信息按照GB/28181规范的扩展信息部分处理，得到3D场景模型操作指令；将所述3D场景应用控制指令发送至安装有3D场景模型的渲染服务器，以使所述渲染服务器响应所述3D场景应用控制指令生成操作结果动作视频流，并将所述操作结果动作视频流发送至所述终端进行解码展示，包括：
将所述流媒体控制指令或者所述3D场景模型操作指令通过socket tcp/udp协议发送至渲染服务器，以使所述渲染服务器根据所述流媒体控制指令或者所述3D场景模型操作指令对所述3D场景模型按照DirectX协议和OpenGL协议进行场景渲染，并按照H264/H265编码协议和GB/28181规范进行压缩编码和视频封装，得到操作结果动作视频流，并将所述操作结果动作视频流遵循RTP协议和GB/28181规范发送至终端进行解码展示。
[0006]在可选的实施方式中，所述终端响应于用户对所述3D场景应用的操作生成所述操作信息，包括：所述终端响应于用户对所述3D场景应用的操作事件，将所述操作事件进行封装后得到所述操作信息。
[0007]第二方面，本专利技术提供了一种3D场景交互方法，所述方法应用于渲染服务器，所述渲染服务器上安装有3D场景模型，所述方法包括：获取信令服务器发送的连接请求指令；其中，所述连接请求指令是所述信令服务器响应终端发送的连接请求信息得到的；所述终端上安装有3D场景应用；与终端建立连接；生成3D场景模型启动视频流；将所述3D场景模型启动视频流发送至所述终端进行解码展示；获取信令服务器发送的3D场景应用控制指令；其中，所述3D场景应用控制指令是所述信令服务器响应所述终端发送的操作信息生成的，所述终端响应于用户对3D场景应用的操作生成所述操作信息；生成操作结果动作视频流；将所述操作结果动作视频流发送至所述终端进行解码展示。
[0008]在可选的实施方式中，所述3D场景应用控制指令通过socket tcp/udp协议从所述信令服务器获取，所述3D场景应用控制指令包括流媒体控制指令和3D场景模型操作指令，所述操作信息包括流媒体控制信息和3D场景模型控制信息；其中，所述流媒体控制指令是所述信令服务器响应所述终端发送的流媒体控制信息并按GB/28181规范处理得到的，所述3D场景模型操作指令是所述信令服务器响应所述终端发送的3D场景模型控制信息并按GB/28181规范的扩展信息部分处理得到的；所述终端通过socket tcp/udp协议将所述流媒体控制信息或者所述3D场景模型控制信息发送至所述信令服务器；响应所述3D场景应用控制指令生成操作结果动作视频流，包括：根据所述流媒体控制指令或者所述3D场景模型操作指令对所述3D场景模型按照DirectX协议和OpenGL协议进行场景渲染，并按照H264/H265编码协议和GB/28181规范进行压缩编码和视频封装，得到操作结果动作视频流；将所述操作结果动作视频流发送至所述终端进行解码展示，包括：将所述操作结果动作视频流遵循RTP协议和GB/28181规范发送至终端进行解码展示。
[0009]第三方面，本专利技术提供了一种3D场景交互方法，所述终端上安装有3D场景应用，所述方法包括：向信令服务器发送连接请求信息，以使所述信令服务器响应所述连接请求信息生成连接请求指令并将所述连接请求指令发送至渲染服务器；
与所述渲染服务器建立连接；接收所述渲染服务器发送的3D场景模型启动视频流并解码展示；其中，所述渲染服务器安装有3D场景模型，所述3D场景模型启动视频流是所述渲染服务器响应所述连接请求指令生成的；响应于用户对所述3D场景应用的操作并生成操作信息；将所述操作信息发送至信令服务器以使所述信令服务器将所述操作信息解析成相对应的3D场景应用控制指令并将所述3D场景应用控制指令发送至渲染服务器；接收所述渲染服务器发送的操作结果动作视频流并解码展示，其中，所述操作结果动作视频流是所述渲染服务器响应所述3D场景应用控制指令生成的。
[0010]第四方面，本专利技术提供了一种3D场景交互装置，所述装置应用于信令服务器，所述装置包括：信令服务器第一获取模块，用于获取所述终端发送的连接请求信息；其中，所述终端上安装有3D场景应用；信令服务器第一发送模块，用于根据所述连接请求信息向安装有3D场景模型的渲染服务器发送连接请求指令，以使所述渲染服务器响应所述连接请求指令与所述终端建立连接并生成3D场景模型启动视频流，并将所述3D场景模型启动视频流发送至所述终端进行解码展示；信令服务器第二获取模块，用于获取终端发送的操作信息；其中，所述终端响应于用户对所述3D场景应用的操作生成所述操作信息；信令服务器处理模块，用于将所述操作信息解析成相对应的3D场景应用控制指令；信令服务器第二发送模块，用于将所述3D场景应用控制指令发送至安装有3D场景模型的渲染服务器，以使所述渲染服务器响应所述3D场景应用控制指令生成操作结果动作视频流，并将所述操作结果动作视频流发送至所述终端进行解码展示。
[0011]第五方面，本专利技术提供了一种3D本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种3D场景交互方法，其特征在于，所述方法应用于信令服务器，所述方法包括：获取终端发送的连接请求信息；其中，所述终端上安装有3D场景应用；根据所述连接请求信息向安装有3D场景模型的渲染服务器发送连接请求指令，以使所述渲染服务器响应所述连接请求指令与所述终端建立连接并生成3D场景模型启动视频流，并将所述3D场景模型启动视频流发送至所述终端进行解码展示；获取终端发送的操作信息；其中，所述终端响应于用户对所述3D场景应用的操作生成所述操作信息；将所述操作信息解析成相对应的3D场景应用控制指令；将所述3D场景应用控制指令发送至安装有3D场景模型的渲染服务器，以使所述渲染服务器响应所述3D场景应用控制指令生成操作结果动作视频流，并将所述操作结果动作视频流发送至所述终端进行解码展示。2.根据权利要求1所述的3D场景交互方法，其特征在于，所述操作信息包括流媒体控制信息和3D场景模型控制信息；获取终端发送的操作信息，包括：获取所述终端通过socket tcp/udp协议发送的流媒体控制信息或者3D场景模型控制信息；将所述操作信息解析成相对应的3D场景应用控制指令，包括：将所述流媒体控制信息按GB/28181规范处理，得到流媒体控制指令；或者，将所述3D场景模型控制信息按照GB/28181规范的扩展信息部分处理，得到3D场景模型操作指令；将所述3D场景应用控制指令发送至安装有3D场景模型的渲染服务器，以使所述渲染服务器响应所述3D场景应用控制指令生成操作结果动作视频流，并将所述操作结果动作视频流发送至所述终端进行解码展示，包括：将所述流媒体控制指令或者所述3D场景模型操作指令通过socket tcp/udp协议发送至渲染服务器，以使所述渲染服务器根据所述流媒体控制指令或者所述3D场景模型操作指令对所述3D场景模型按照DirectX协议和OpenGL协议进行场景渲染，并按照H264/H265编码协议和GB/28181规范进行压缩编码和视频封装，得到操作结果动作视频流，并将所述操作结果动作视频流遵循RTP协议和GB/28181规范发送至终端进行解码展示。3.根据权利要求1所述的3D场景交互方法，其特征在于，所述终端响应于用户对所述3D场景应用的操作生成所述操作信息，包括：所述终端响应于用户对所述3D场景应用的操作事件，将所述操作事件进行封装后得到所述操作信息。4.一种3D场景交互方法，其特征在于，所述方法应用于渲染服务器，所述渲染服务器上安装有3D场景模型，所述方法包括：获取信令服务器发送的连接请求指令；其中，所述连接请求指令是所述信令服务器响应终端发送的连接请求信息得到的；所述终端上安装有3D场景应用；与终端建立连接；生成3D场景模型启动视频流；将所述3D场景模型启动视频流发送至所述终端进行解码展示；获取信令服务器发送的3D场景应用控制指令；其中，所述3D场景应用控制指令是所述
信令服务器响应所述终端发送的操作信息生成的，所述终端响应于用户对3D场景应用的操作生成所述操作信息；生成操作结果动作视频流；将所述操作结果动作视频流发送至所述终端进行解码展示。5.根据权利要求4所述的3D场景交互方法，其特征在于，所述3D场景应用控制指令通过socket tcp/udp协议从所述信令服务器获取，所述3D场景应用控制指令包括流媒体控制指令和3D场景模型操作指令，所述操作信息包括流媒体控制信息和3D场景模型控制信息；其中，所述流媒体控制指令是所述信令服务器响应所述终端发送的流媒体控制信息并按GB/28181规范处理得到的，所述3D场景模型操作指令是所述信令服务器响应所述终端发送的3D场景模型控制信息并按GB/28181规范的扩展信息部分处理得到的；所述终端通过socket tcp/udp协议将所述流媒体控制信息或者所述3D场景模型控制信息发送至所述信令服务器；响应所述3D场景应用控制指令生成操作结果动作视频流，包括：根据所述流媒体控制指令或者所述3D场景模型操作指令对所述3D场景模型按照DirectX协议和OpenGL协议进行场景渲染，并按照H264/H265编码协议和GB/28181规范进行压缩编码和视频封装，得到操作结果动作视频流；将所述操作结果动作视频流发送至所述终端进行解码展示，包括：将所述操作结果动作视频流遵循RTP协议和GB/28181规范发送至终端进行解码展示。6.一种3D场景交互方法，其特征在于，所述方法应用于终端，所述终端上安装有3D场景应用，所述方法包括：向信令服务器发送连接请求信息，以使所述信令服务器响应所述连接请求信息生成连接请求指令并将所述连接请求指令发送至渲染服务器；与所述渲染服务器建立连接；...

【专利技术属性】
技术研发人员：孙社宾，刘珊，高旭麟，
申请(专利权)人：天津安锐捷技术有限公司，
类型：发明
国别省市：