经由远程渲染的视频流进行3D模型的可视化和交互的系统和方法技术方案

本公开涉及用于然后由远程计算机访问的3D模型的本地渲染的系统和方法。该系统的优势在于，渲染复杂3D模型所需的大量硬件被集中化，并且能够由小型远程计算机访问，而无需专门的硬件或软件安装。该系统还提供了增强的安全性，因为可以将模型数据限制于有限数量的服务器，而不是存储在各个计算机上。

【技术实现步骤摘要】
【国外来华专利技术】经由远程渲染的视频流进行3D模型的可视化和交互的系统和方法相关应用本申请要求于2018年9月10日提交的标题为“VISUALIZATIONANDINTERACTIONOF3DMODELSVIAREMOTELYRENDEREDVIDEOSTREAMSYSTEMANDMETHOD”的美国临时专利申请No.62/729,307和于2018年9月11日提交的标题为“VISUALIZATIONANDINTERACTIONOF3DMODELSVIAREMOTELYRENDEREDVIDEOSTREAMSYSTEMANDMETHOD”的美国临时专利申请No.62/729,935的权益和优先权，这些申请的全部内容通过引用并入本文。
技术介绍
由工业控制和监视软件平台生成的3D模型正在变得越来越大和越来越复杂，从而导致任何试图处理和可视化数据的计算机对硬件的要求在增加。一些系统提供者使用某种形式的服务器侧渲染，使用光线跟踪产生图像。其它视频流传输技术也很普及(例如，Skype)，但仅流传输自创建内容。诸如WebRTC之类的一些技术提供了执行视频和通信的低时延流传输的能力，但仅仅是用于这样做的框架或SDK，并且不生成编码内容。
技术实现思路
根据各种实施例，本文描述的系统和方法涉及促进对在本地计算机处生成的三维(3D)模型的渲染，该三维(3D)模型可以使用远程计算机来操纵(例如，提供可视化服务器进程，从而将渲染的3D数据的交互式视频流传递到具有视频回放能力的一个或多个网络连接)。根据一些实施例，3D模型的本地渲染的优点包括在需要时升级本地装备以支持不断增长的复杂3D模型的能力，同时获得在可以支持视频流传输的任何远程计算机上渲染3D图像的能力。在一些实施例中，系统将图形处理单元(GPU)与位于本地站点的一个或多个处理器和非暂态计算机可读介质结合使用以生成3D模型。在一些实施例中，通过连接将3D模型的渲染作为视频流传递到一个或多个远程计算机。然后，根据一些实施例，用户可以使用各种命令来操纵3D模型。根据各种实施例，该系统极大地减少了时延对用户体验的影响，并且由于仅在本地网络内可访问而提供了更高的安全性。在一些实施例中，时延小于50ms。通过将3D数据集中在本地可访问的内部部署的网络上，在一些实施例中，3D模型变得高度可访问，而无需将相同的3D模型复制和/或拷贝到每个单独的远程计算机上。这也提供了增强的安全性，因为根据一些实施例，模型数据的使用可以限于特定数量的计算机，而不是多个最终用户计算机。另外，在一些实施例中，多个远程计算机可以间歇性地或同时访问本地计算机上的相同3D模型。本专利技术的一些实施例包括可以在等待客户端连接的任何计算机上托管的系统和处理。本专利技术的一些实施例使得能够进行远程渲染，使得任何计算机都能够显示一个或多个复杂模型的渲染而不需要任何特殊的硬件或软件安装。在一些实施例中，这些连接可以用于发送实时视频流，该实时视频流是通过在本地计算机上渲染指定的3D模型并以交互速率对每一帧进行编码而生成的。在一些实施例中，来自本地计算机的渲染以视频流的形式被传递到远程计算机。在一些实施例中，一旦开始流传输，远程计算机就可以通过向本地计算机发送简单的JavaScript对象表示法(JSON)命令来与渲染交互以允许导航、拾取、平移、缩放以及其它3D模型交互。在一些实施例中，对3D视图具有视觉影响(例如，视点改变)的交互可以触发新帧在本地计算机上被渲染并且作为视频流的一部分被流传输给用户。根据一些实施例，在交互、渲染和/或流传输的反馈环之后，用户可以与他们的远程计算机上的3D模型的渲染自由地交互。该系统的一些实施例可以促进通过标准通信或流传输技术(包括但不限于H.264视频编码和解码、应用编程接口(API)和HTML5WebSocket)建立的连接。在一些实施例中，这允许不同操作系统之间的高度兼容性，从而使将来的应用能够基于web(例如，由远程计算机通过web访问的本地计算机)，而不要求必须针对每个支持的操作系统编写应用或软件的多个版本。在一些实施例中，GPU光栅化器可以用于流传输，从而使其具有高度的交互性(例如，诸如通过使用30Hz帧速率)。在一些实施例中，例如，除了支持媒体源扩展和H264编码视频的标准HTML5浏览器之外，无需任何附加软件/插件就可以产生使用标准视频流的任何可视化。在一些实施例中，该系统可以使得在多个计算机、虚拟机和/或服务器上同时运行的一个或多个本地计算机服务器进程能够支持任何数量的远程计算机。一些实施例可以使用GPU视频编码器从由渲染引擎(例如，诸如AVEVA渲染引擎)生成的帧中产生视频流。在一些实施例中，在3D模型的渲染和编码二者期间确保GPU的高利用率可以导致在远程计算机交互之后的低时延。在各种实施例中，低时延小于或等于50ms。在一些实施例中，至少一个本地计算机可以托管一个或多个虚拟和/或物理计算机，每个虚拟和/或物理计算机可以运行一个或多个服务器来处置来自远程计算机的一个或多个传入的远程客户端请求。在一些实施例中，是远程计算机负责解码视频流。在一些实施例中，视频流可以与媒体源扩展(MSE)兼容以确保良好的回放性能。在一些实施例中，远程计算机可以经由WebSocket耦合到本地计算机并发送命令来渲染3D模型。在一些实施例中，该动作可以保留一些GPU资源来渲染2D帧以进行编码：在一些实施例中，MP4电影标头被发送到远程客户端以指示视频流的开始。在一些实施例中，远程计算机可以发出命令以与3D模型进行交互。在一些非限制性实施例中，经由鼠标移动和/或点击、手指触摸、手势、眼睛移动跟踪或任何其它发送数字信号的方法来发出命令。在一些实施例中，命令修改本地3D模型并触发要渲染的新帧并将其发送到硬件编码器，然后将该新帧作为下一个P帧(相对先前图像的增量)发送到远程客户端。在一些实施例中，使用一个或多个硬件编码器和高GPU/低CPU组合实现这种交互所需的低时延。附图说明图1图示了根据一些实施例的系统体系架构。图2图示了根据一些实施例的基于云的系统体系架构。图3图示了实现或包括根据一些实施例的系统和方法的计算机系统。具体实施方式图1图示了根据一些实施例的系统体系架构100。在一些实施例中，远程计算机101促进与网络104的连接102、103，该网络104与本地计算机106处于连接105；在一些实施例中，连接102、103促进视频流传输102和命令103。根据一些实施例，3D模型数据107被上传到本地计算机106和/或存储在其上，在本地计算机106中被变换成3D模型渲染。在一些实施例中，3D模型渲染被通过网络104发送到远程计算机101，并且作为视频流102到达。然后可以在远程计算机101处向3D模型渲染给出3D模型操纵命令103。然后在一些实施例中，通过网络104将3D模型操纵命令103发送回本地计算机106。此时，在各种实施例中，本地计算机106根据命令103来操纵3D模型渲染。在各种实施例中，然后，新的3D渲染通过网络104被本文档来自技高网...

【技术保护点】
1.一种用于促进三维(3D)模型的远程可视化和交互的系统，包括：/n至少一个本地处理器；/n至少一个本地非暂态计算机可读介质；/n至少一个远程处理器；/n至少一个远程非暂态计算机可读介质；/n其中所述至少一个本地非暂态计算机可读介质包括被配置和布置为使用所述至少一个本地处理器执行的本地指令，/n其中所述本地指令包括：/n创建本地3D模型，/n促进本地3D模型操纵，以及/n促进所述至少一个本地处理器和所述至少一个远程处理器之间的连接；/n其中所述至少一个远程非暂态计算机可读介质包括被配置和布置为使用所述远程处理器执行的远程指令，/n其中所述远程指令包括：/n促进远程命令，/n促进所述本地处理器和所述远程处理器之间的连接，/n促进使用所述远程命令对所述本地3D模型的远程3D模型操纵，以及/n生成由所述本地指令创建的所述本地3D模型的远程渲染；/n其中所述至少一个本地处理器中的每一个和所述至少一个远程处理器中的每一个被分别容纳在单独的本地壳体和远程壳体中。/n

【技术特征摘要】
【国外来华专利技术】20180910 US 62/729,307;20180911 US 62/729,9351.一种用于促进三维(3D)模型的远程可视化和交互的系统，包括：
至少一个本地处理器；
至少一个本地非暂态计算机可读介质；
至少一个远程处理器；
至少一个远程非暂态计算机可读介质；
其中所述至少一个本地非暂态计算机可读介质包括被配置和布置为使用所述至少一个本地处理器执行的本地指令，
其中所述本地指令包括：
创建本地3D模型，
促进本地3D模型操纵，以及
促进所述至少一个本地处理器和所述至少一个远程处理器之间的连接；
其中所述至少一个远程非暂态计算机可读介质包括被配置和布置为使用所述远程处理器执行的远程指令，
其中所述远程指令包括：
促进远程命令，
促进所述本地处理器和所述远程处理器之间的连接，
促进使用所述远程命令对所述本地3D模型的远程3D模型操纵，以及
生成由所述本地指令创建的所述本地3D模型的远程渲染；
其中所述至少一个本地处理器中的每一个和所述至少一个远程处理器中的每一个被分别容纳在单独的本地壳体和远程壳体中。


2.如权利要求1所述的系统，
其中通过使用由所述远程处理器执行的视频回放代码来实现生成所述本地3D模型的远程渲染。


3.如权利要求2所述的系统，
其中视频回放代码包括JavaScript对象表示法(JSON)、H.264视频流传输和HTML5websocket中的一个或多个。


4.如权利要求1所述的系统，
其中创建本地3D模型和/或促进本地3D模型操纵包括使用图形处理单元(GPU)。


5.如权利要求4所述的系统，
其中所述连接包括所述本地处理器将所述本地3D模型操纵作为视频流返回到所述远程处理器。


6.如权利要求4所述的系统，
其中在执行所述远程命令之后，所述本地3D模型的远程渲染的时延小于50毫秒。


7.如权利要求1所述的系统，
其中所述至少一个远程处理器是各自被容纳在相应的壳体中的多个远程处理器；
其中所述多个远程处理器各自能够促进与所述至少一个本地处理器中的任何一个本地处理器的连接；
其中所述多个远程处理器中的每个远程处理器能够促进对所述本地3D模型的不同远程3D模型操纵。


8.如权利要求7所述的系统，
其中所述多个远程处理器中的所述每个远程处理器促进所述本地3D模型的不同远程3D模型操纵同时发生。


9.如权利要求1所述的系统，
其中基于云的计算机系统包括所述本地处理器和/或本地非暂态计算机可读介质。


10.一种用于促进三维(3D)模型的远程可视化和交互的系统，包括：
至少一个本地计算机；
至少一个远程计算机；
其中所述至少一个本地计算机被配置和布置为执行本地指令，
其中所述本地指令包...

【专利技术属性】
技术研发人员：D·M·史蒂文森，P·A·伯顿，M·维特扎克，
申请(专利权)人：阿韦瓦软件有限责任公司，
类型：发明
国别省市：美国;US