基于云手机的VR应用设计方法及系统技术方案

本申请提供了一种基于云手机的设计方法和设计系统，该设计系统包括：云手机和至少一个客户端，至少一个客户端分别运行于一个终端，用于接收云手机发送的界面数据流，根据界面数据流生成设计界面，并在各自所在的终端上显示设计界面，云手机设置于网络侧，用于接收至少一个客户端中的一个或任意组合发送的至少一个交互信息，根据至少一个交互信息运行设计应用，以及根据设计应用运行过程渲染视频流，至少一个客户端，还用于接收视频流，根据视频流在设计界面显示设计画面。通过由网络侧的云手机渲染视频流，实现了支持海量用户协同在线设计，满足了业务需求。满足了业务需求。满足了业务需求。

【技术实现步骤摘要】
基于云手机的VR应用设计方法及系统
[0001]本申请要求于2020年09月07日提交中国国家知识产权局、申请号为202010929143.6、申请名称为“云手机及基于云手机的互动设计方法”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。


[0002]本申请涉及云计算
，尤其涉及一种基于云手机的设计方法、系统、设备以及计算机可读存储介质。

技术介绍

[0003]在进行工业设计，如建筑设计、装修设计时，设计人员通常是通过电脑完成设计。其中，设计过程中的人机互动主要是基于鼠标与键盘的点击拖拽实现。随着虚拟现实(virtual reality，VR)技术的不断发展，产生新的人机互动方法。
[0004]VR也称虚拟环境。VR通过计算模拟产生一个三维空间的虚拟世界，向用户提供关于视觉等感官的模拟，用户执行某种或某些动作时，可以通过计算对虚拟世界进行调整，使得用户感觉仿佛身临其境。VR应用到工业设计时，VR设备可以生成虚拟设计环境，设计人员可以在该虚拟设计环境中，通过双手进行人机交互。并且，设计人员还可以和其他人员共同在该虚拟设计环境中进行人机交互，以协同完成设计，如此，可以大幅提升设计效率和设计质量。
[0005]然而，上述虚拟设计环境支持参与设计的人数有限，通常为8至10人，难以满足业务需求。

技术实现思路

[0006]本申请提供了一种基于云手机的设计方法和设计系统，通过利用设置在网络侧的云手机在云端渲染视频流，可以充分发挥云手机的运算能力能够弹性伸缩的优势，一方面可以实现支持海量用户在线协同设计，另一方面将耗费大量运算能力的渲染等工作卸载到云手机中实现，可以减轻终端的硬件规格需求，节约成本，具有较高可用性。
[0007]第一方面，本申请提供了一种设计系统。该设计系统包括：云手机和至少一个客户端，至少一个客户端分别运行于一个终端，用于接收云手机发送的界面数据流，根据界面数据流生成设计界面，并在各自所在的终端上显示所述设计界面，云手机，用于接收至少一个客户端中的一个或任意组合发送的至少一个交互信息，至少一个交互信息具体来自于至少一个客户端中的一个或者任意组合的用户通过各自所操作的终端上显示的设计界面触发的设计操作，然后云手机根据交互信息运行设计应用，以及根据设计应用运行过程渲染视频流，至少一个客户端还用于接收视频流，根据视频流在设计界面显示设计画面。
[0008]其中，云手机设置于网络侧，由网络侧的云手机渲染视频流，可以充分发挥云手机的运算能力能够弹性伸缩的优势实现按需渲染，一方面能够实现支持海量用户在线协同设计，另一方面将耗费大量运算能力的渲染等工作卸载到云手机中实现，可以减轻终端的硬
件规格需求，节约成本，具有较高可用性。
[0009]在一些可能的实现方式中，渲染资源是指用于渲染视频的资源，例如渲染资源可以是图形处理器(graphics processing unit，GPU)。云手机可以通过物理服务器中的容器实现。该物理服务器包括软件资源和硬件资源。不同物理服务器的硬件资源可以进行虚拟化，形成物理资源池。例如，不同物理服务器中的GPU等渲染资源可以进行虚拟化，得到支持动态分配、灵活调度、跨域共享的渲染资源池。
[0010]云手机可以调度渲染资源池中的渲染资源进行视频流渲染。具体地，云手机可以根据设计应用运行过程从渲染资源池中获取目标数量的渲染资源，然后云手机根据设计应用运行过程，利用渲染资源渲染视频流。如此，云手机可以实现基于渲染能力消耗，精准提供渲染资源进行渲染，满足多种多样的性能需求。
[0011]在一些可能的实现方式中，不同类型的渲染资源的渲染能力可以是不同的。例如，对于同一渲染对象，x86架构的GPU和高级精简指令集机器(advanced RISC machine，ARM)架构的GPU的渲染能力是不同的。为此，云手机还可以根据设计应用运行过程确定渲染所需的渲染资源的类型和数量，然后从渲染资源池中获取目标类型以及目标数量的渲染资源。如此可以充分利用不同类型的渲染资源的渲染能力，满足不同业务场景的渲染需求。
[0012]在一些可能的实现方式中，云手机调度的渲染资源的数量与参与协同设计的终端的数量相关。为此，云手机可以根据设计应用运行过程以及终端的数量，从渲染资源池中获取目标数量的渲染资源。如此可以实现通过渲染资源的弹性伸缩支持不同数量的用户进行协同设计。
[0013]进一步地，参与协同设计的终端可以包括不同类型的终端。云手机可以针对不同类型的终端分别渲染视频流。因此，云手机还可以根据设计应用运行过程以及终端的类型、数量从渲染资源池中获取目标数量的渲染资源，以便基于该目标数量的渲染资源进行渲染。如此实现精确地提供渲染资源，满足不同业务场景的渲染需求。
[0014]在一些可能的实现方式中，考虑到X86架构下云VR业务消耗巨大的带宽资源，单用户通常需要50Mbps到100Mbps的带宽资源，云手机还可以利用端侧和云侧的ARM指令的兼容性，通过端云协同渲染降低带宽，从而降低成本，便于规模化商用。
[0015]具体地，云手机可以根据设计应用运行过程生成云渲染指令流和端渲染指令流，其中，云渲染指令流包括至少一个云渲染指令，端渲染指令流包括至少一个端渲染指令，云渲染指令指示在云端进行渲染，端渲染指令在客户端进行渲染。云手机可以根据云渲染指令流渲染视频流，得到第一渲染视频流。接着云手机向至少一个客户端发送第一渲染视频流和端渲染指令流。该端渲染指令流用于指示至少一个客户端根据端渲染指令流渲染视频流，得到第二渲染视频流。对应地，至少一个客户端具体可以用于对第一渲染视频流和第二渲染视频流进行合流，获得第三渲染视频流，然后根据第三渲染视频流在设计界面显示设计画面。如此可以降低带宽，进而降低成本。
[0016]在一些可能的实现方式中，考虑到端侧渲染能力通常是有限的。基于此，云手机可以根据设计应用运行过程中渲染计算量大于计算量阈值的信息生成云渲染指令流，根据设计应用运行过程中渲染计算量小于或等于计算量阈值的信息生成端渲染指令流。如此在降低带宽的同时，还保障了端侧能够正常渲染视频流，为用户提供较好的体验。
[0017]在一些可能的实现方式中，背景信息的占比通常较低，一般需要消耗较多的渲染
资源，为此，云手机可以根据设计应用运行过程中的背景信息生成云渲染指令流，根据设计应用运行过程中的动作信息生成所述端渲染指令流。如此可以有效降低带宽，从而降低成本。
[0018]在一些可能的实现方式中，所述终端包括虚拟现实终端或平面终端。其中，虚拟现实终端包括PC VR终端和移动VR终端，例如包括VR头盔、VR眼镜等设备。平面终端包括智能手机、平板电脑等设备。该系统支持多类型设备尤其是通用的平面终端参与协同设计，满足了不同业务场景需求。而且无需用户配置专用设备，降低了成本。
[0019]在一些可能的实现方式中，所述终端包括所述虚拟现实终端时，所述交互信息包括动作信息和位置信息中的至少一种。具体地，用户可以通过手势或其他肢体本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种设计系统，其特征在于，包括：云手机和至少一个客户端，其中所述云手机设置于网络侧；所述至少一个客户端分别运行于一个终端，用于接收所述云手机发送的界面数据流，根据所述界面数据流生成设计界面，并在各自所在的终端上显示所述设计界面；所述云手机，用于接收所述至少一个客户端中的一个或任意组合发送的至少一个交互信息，根据所述至少一个交互信息运行设计应用，以及根据设计应用运行过程渲染视频流；其中，所述至少一个交互信息来自于所述至少一个客户端中的一个或任意组合的用户通过各自所操作的终端上显示的设计界面触发的设计操作；所述至少一个客户端，还用于接收所述视频流，根据所述视频流在所述设计界面显示设计画面。2.根据权利要求1所述的设计系统，其特征在于，所述云手机根据设计应用运行过程渲染视频流，包括：所述云手机根据设计应用运行过程从渲染资源池中获取目标数量的渲染资源；所述云手机根据所述设计应用运行过程，利用所述渲染资源渲染视频流。3.根据权利要求2所述的设计系统，其特征在于，所述云手机根据设计应用运行过程从渲染资源池中获取目标数量的渲染资源，包括：所述云手机根据设计应用运行过程确定渲染所需的渲染资源的类型和数量；所述云手机从渲染资源池中获取目标类型以及目标数量的渲染资源。4.根据权利要求2或3所述的设计系统，其特征在于，所述云手机根据设计应用运行过程从渲染资源池中获取目标数量的渲染资源，包括：所述云手机根据设计应用运行过程以及所述终端的数量从渲染资源池中获取目标数量的渲染资源。5.根据权利要求1至4任一项所述的设计系统，其特征在于，所述云手机根据设计应用运行过程渲染视频流，包括：所述云手机根据设计应用运行过程生成云渲染指令流和端渲染指令流；所述云手机根据所述云渲染指令流渲染视频流，得到第一渲染视频流；所述云手机向所述至少一个客户端发送所述第一渲染视频流和所述端渲染指令流，所述端渲染指令流用于指示所述至少一个客户端根据所述端渲染指令流渲染视频流，得到第二渲染视频流；所述至少一个客户端具体用于：对所述第一渲染视频流和所述第二渲染视频流进行合流，获得第三渲染视频流；根据所述第三渲染视频流在所述设计界面显示设计画面。6.根据权利要求5所述的设计系统，其特征在于，所述云手机根据设计应用运行过程生成云渲染指令流和端渲染指令流，包括：根据设计应用运行过程中渲染计算量大于计算量阈值的信息生成云渲染指令流，根据所述设计应用运行过程中渲染计算量小于或等于所述计算量阈值的信息生成端渲染指令流。7.根据权利要求5所述的设计系统，其特征在于，所述云手机根据设计应用运行过程生成云渲染指令流和端渲染指令流，包括：
根据设计应用运行过程中的背景信息生成所述云渲染指令流，根据所述设计应用运行过程中的动作信息生成所述端渲染指令流。8.根据权利要求1至7任一项所述的设计系统，其特征在于，所述终端包括虚拟现实终端或平面终端。9.根据权利要求8所述的设计系统，其特征在于，所述终端包括所述虚拟现实终端时，所述交互信息包括动作信息和位置信息中的至少一种。10.根据权利要求8或9所述的设计系统，其特征在于，所述终端包括平面终端时，所述交互信息包括操作指令。11.一种基于云手机的设计方法，其特征在于，应用于设计系统，所述设计系统包括云手机和至少一个客户端，所述至少一个客户端分别运行于一个终端，所述云手机设置于网络侧，所述方法包括：所述至少一个客户端接收所述云手机发送的界面数据流，根据所述界面数据流生成设计界面，并在各自所在的终端上显示所述设计界面；所述云手机接收所述至少一个客户端中的一个或任意组合发送的至少一个交互信息，根据所述至少一个交互信息运行设计应用，以及根据设计应用运行过程渲染视频流；其中，所述至少一个交互信息来自于所述至少一个客户端的一个或者任意组合的用户通过各自所操作的终端上显示的设计界面触发的设计操作；所述至少一个客户端接收所述视频流，根据所述视频流在所述设计界面显示设计画面。12.根据权利要求11所述的方法，其特征在于，所述云手机根据设计应用运行过程渲染视频流，包括：所述云手机根据设计应用运行过程从渲染资源池中获取目标数量的渲染资源；所述云手机根据所述设计应用运行过程，利用所述渲染资源渲染视频流。13.根据权利要求12所述的方法，其特征在于，所述云手机根据设计应用运行过程从渲染资源池中获取目标数量的渲染资源，包括：所述云手机根据设计应用运行过程确定渲染所需的渲染资源的类型和数量；所述云手机从渲染资源池中获取目标类型以及目标数量的渲染资源。14.根据权利要求12或13所述的方法，其特征在于，所述云手机根据设计应用运行过程从渲染资源池中获取目标数量的渲染资源，包括：所述云手机根据设计应用运行过程以及所述终端的数量从渲染资源池中获取目标数量的渲染资源。15.根据权利要求11至14任一项所述的方法，其特征在于，所述云手机根据设计应用运行过程渲染视频流，包括：所述云手机根据设计应用运行过程生成云渲染指令流和端渲染指令流；所述云手机根据所述云渲染指令流渲染视频流，得到第一渲染视频流；所述至少一个客户端接收视频流，根据所述视频流在所述设计界面显示设计画面，包括：所述至少一个客户端接收所述第一渲染视频流和所述端渲染指令流；所述至少一个客户端根据所述端渲染指令流渲染视频流，得到第二渲染视频流；
所述至少一个客户端对所述第一渲染视频流和所述第二渲染视频流进行合流，获得第三渲染视频流；根据所述第三渲染视频流在所述设计界面显示设计画面。16.根据权利要求15所述的方法，其特征在于，所述云手机根据设计应用运行过程生成云渲染指令流和端渲染指令流，包括：根据设计应用运行过程中渲染计算量大于计算量阈值的信息生成云渲染指令流，根据所述设计应用运行过程中渲染计算量小于或等于所述计算量阈值的信息生成端渲染指令流。17.根据权利要求15所述的方法，其特征在于，所述云手机根据设计应用运行过程生成云渲染指令流和端渲染指令流，包括：根据设计应用运行过程中的背景信息生成所述云渲染指令流，根据所述设计应用运行过程中的动作信息生成所述端渲染指令流。18.根据权利要求11至17任一项所述的方法，其特征在于，所述终端包括虚拟现实终端或平面终端。19.根据权利要求18所述的方法，其特征在于，所述终端包括所述虚拟现实终端时，所述交互信息包括动作信息和位置信息中的至少一种。20.根据权利要求18或19所述的方...

【专利技术属性】
技术研发人员：聂颂，李东升，
申请(专利权)人：华为云计算技术有限公司，
类型：发明
国别省市：