在客户端-服务器图像观看架构中的客户端侧图像渲染制造技术

在远程访问环境内的系统和方法，其允许远程访问例如医疗图像的客户端装置从图像数据的客户端侧渲染无缝切换到图像数据的服务器侧渲染，并且反之亦然。可以提供分布式图像处理，图像数据可由此被流传输至客户端装置并被客户端装置处理(客户端侧渲染)，或可以在服务器远程处理并被下载到客户端装置用于显示(服务器侧渲染)。在这两种模式之间的切换可以是基于预定的标准，诸如网络带宽、客户端装置的处理能力、要被显示的成像类型。该环境还提供在多个客户端装置之间的协同，其中多个客户端装置中的至少一个客户端装置在执行客户端侧渲染。

【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
在客户端-服务器架构中，服务器侧渲染提供在服务器的图像生成，其中渲染的图像被传送到客户端装置供显示和观看。服务器侧渲染允许诸如具有较低计算能力的移动装置的装置显示相当复杂的图像。相比之下，客户端侧渲染是客户端装置使用驻留在客户端装置上的资源处理从服务器传送的数据以渲染图像从而更新显示的地方。在复杂成像应用中，渲染通常由服务器执行；然而，带宽可用性会限制此类操作的可扩展性。因此，随着移动客户端已增加CPU处理能力，提供下载数据的一定程度的客户端侧渲染已变得更加可行。不过，在客户端侧渲染和服务器侧渲染之间切换的系统中，切换往往形成视觉幻象、显示暂停或有损用户体验的其他用户可感知结果。此外，在成像应用会话期间多个客户端装置之间的协同通常通过同步由服务器渲染图像生成的视图来实现。此类协同会话不一定能最佳利用客户端装置或网络连接的性能。
技术实现思路
本文所公开的是用于在服务器侧图像渲染与客户端侧图像渲染之间无缝切换的系统和方法。根据本公开的一个方面，公开了一种在客户端侧图像数据渲染期间客户端-服务器同步图像数据的视图的方法。该方法可包括执行图像数据的客户端侧渲染并更新应用状态以指示在客户端装置上正显示的当前视图的各方面；在客户端装置的存储器中保持当前视图的表示；将当前视图写入到应用状态中；并将该应用状态从客户端装置传送至服务器。根据其它方面，提供了客户端到服务器同步的方法，通过该方法，r>客户端装置从图象数据的客户端侧渲染无缝切换至图像数据的服务器侧渲染，或反之亦然。在该方法中，图像数据的至少一部分从服务器下载到客户端装置，该方法可以包括更新应用状态以指示在客户端装置上正显示的当前视图的各方面；并在客户端装置的存储器中保持当前视图的表示。当执行客户端侧渲染时，切换客户端装置到图像数据的服务器侧渲染可以包括将当前视图写入到应用状态中；并将该应用状态从客户端装置传送至服务器，用于在服务器利用该应用状态从而开始与当前视图同步的图像的服务器侧渲染。当执行服务器侧渲染时，切换客户端装置到图像数据的客户端侧渲染可以包括从服务器传送应用状态；并利用在客户端装置的应用状态差异，从而开始图像数据的客户端侧渲染，使得图像数据的客户端侧渲染与由服务器提供的最后渲染视图同步。根据其它方面，公开了通过多个客户端装置中的每个客户端装置动态同步图像的方法。该方法可以包括从服务器向多个客户端装置中的每个客户端装置传送图像数据，该图像数据被多个客户端装置中的每个客户端装置渲染用于在多个客户端装置中的每个客户端装置显示；更新在多个客户端装置的每个客户端装置的应用状态，从而指示与在多个客户端装置的每个客户端装置正显示的图像相关联的显示状态；在多个客户端装置与服务器之间连续传送应用状态；并根据在多个客户端装置中的一个客户端装置的显示状态使在多个客户端装置中的每个客户端装置的当前显示的图像同步。在审查下列附图和详细说明后，其它系统、方法、特征和优点对于本领域技术人员来说将会或变得明显。所有此类额外系统、方法、特征和/或优点旨在包括在本说明书内并受随附权利要求保护。附图说明附图中的组件不必相对彼此按比例绘制。在贯穿若干视图中，相同的参考数字指代对应的部件。图1是简化框图，其示出用于经由计算机网络的图像数据观看和协同的环境；图2是简化框图，其示出与状态模型合作的远程访问程序的操作；图3示出可以在图1和2的环境中从客户端侧渲染无缝切换至服务器侧渲染的操作流程；图4示出客户端装置可以在图1和2的环境中从服务器侧渲染无缝切换至客户端侧渲染的操作流程；图5示出在多个客户端装置之间协同的操作流程，其中至少一个客户端装置在执行客户端侧渲染；图6示出图像数据观看和协同环境的替代实施；和图7示出示例性装置。具体实施方式除非另有定义，本文使用的所有技术和科学术语具有与本领域的普通技术人员通常所理解的相同的意义。与本文所描述的那些方法和材料类似或等效的方法和材料可用于本公开的实践或测试。虽然将描述远程访问应用的实施，但是对本领域技术人员而言将变得明显的是所述实施不限于此，而适用于经由远程装置对任何类型的数据或服务进行远程访问。概述根据本公开的各方面，在远程访问环境中，正在远程访问图像的客户端装置可以提供有从图像数据的客户端侧渲染无缝切换到图像数据的服务器侧渲染的机制，并且反之亦然。本公开提供分布式图像处理，因而图像数据可被流传输至客户端装置并被客户端装置处理(客户端侧渲染)，或可以在服务器远程处理并被下载到客户端装置用于显示(服务器侧渲染)。在两种模式之间的切换可以由用户手动实施，或可以基于预定标准，诸如网络带宽、客户端装置的处理能力、要被显示的成像类型(例如，2D、3D、最大强度投影(MIP)/多平面重构(MPR))等。本公开还提供在客户端装置之间的协同，其中客户端装置中的至少一个客户端装置在执行客户端侧渲染。示例环境借助上述作为引言的概述，现在参考图1，该图示出用于经由计算机网络的图像数据观看和协同的环境100。环境100可以提供图像数据的观看和协同。成像和远程访问服务器105可以提供访问驻留在数据库(未示出)中的图像数据的机制。成像和远程访问服务器105可包括成像应用，其处理图像数据，以便被一个或多个最终用户使用客户端装置112A、112B、112C或112N中的一个客户端装置观看。成像和远程访问服务器105例如经由计算机网络110连接至客户端装置112A、112B。根据本公开的实施，成像和远程访问服务器105可包括服务器远程访问程序，其被用于将各种客户端装置(如下所述)连接至应用，诸如由成像和远程访问服务器105提供的医疗应用。上述服务器远程访问程序可以任选提供在整个环境100的连接编组和应用过程管理。服务器远程访问程序可以现场连接成像和远程访问服务器105和由成像和远程访问服务器105提供的成像应用。客户端装置112A、112B、112C和112N可以是无线手持装置诸如，例如被通信网络110连接至服务器102的IPHONE、基于ANDROID的装置、平板装置或台式机/笔记本个人计算机。应当指出的是，到通信网络110的连接可以是任何类型的连接，例如，Wi-Fi(IEEE 802.11x)、WiMax(IEEE 802.16)、以太网、3G、4G等。图1示出四个客户本文档来自技高网...

【技术保护点】
一种在客户端侧图像数据渲染期间客户端‑服务器同步图像数据的视图的方法，所述方法包括：执行所述图像数据的客户端侧渲染并更新应用状态，从而指示在所述客户端装置上显示的当前视图的各方面；在所述客户端装置处的存储器中保持当前视图的表示；将所述当前视图写入所述应用状态中；以及将所述应用状态从所述客户端装置传送至服务器。

【技术特征摘要】
【国外来华专利技术】2012.09.10 US 61/698,838;2012.11.24 US 61/729,5881.一种在客户端侧图像数据渲染期间客户端-服务器同步图像数
据的视图的方法，所述方法包括：
执行所述图像数据的客户端侧渲染并更新应用状态，从而指示在
所述客户端装置上显示的当前视图的各方面；
在所述客户端装置处的存储器中保持当前视图的表示；
将所述当前视图写入所述应用状态中；以及
将所述应用状态从所述客户端装置传送至服务器。
2.根据权利要求1所述的方法，其还包括通过利用传送到所述服
务器的所述应用状态切换至所述图像数据的服务器侧渲染。
3.根据权利要求2所述的方法，其中所述切换作为用户与控件交
互的结果被执行。
4.根据权利要求2-3中任一项所述的方法，其中所述切换是根据
预定标准自动执行的，所述预定标准是CPU类型、GPU类型、总存
储器、当前CPU利用率、当前GPU利用率、当前存储器利用率、电
池使用寿命、工作温度、显示器大小和发送/接收比特率中的一种。
5.根据权利要求2-4中任一项所述的方法，其还包括在所述客户
端装置高速缓存所述图像数据，使得在所述切换被执行时，预定数量
的图像在所述客户端装置是本地可用的。
6.根据权利要求1-5中任一项所述的方法，其中所述当前视图包
括在所述客户端装置的当前显示的当前可视边界、偏移、切片索引和
视窗/水平中的至少一个。
7.根据权利要求1-6中任一项所述的方法，其还包括使在所述服
务器侧渲染视图中的偏移、切片索引和视窗/水平中的至少一个与在
所述客户端装置显示的所述当前视图同步。
8.根据权利要求7所述的方法，其还包括在执行切换之前，在存
储器中保持所述当前显示的所述当前可视边界、所述偏移、所述切片
索引和所述视窗/水平中的至少一个的表示。
9.根据权利要求1-8中任一项所述的方法，其还包括：
初始执行所述图像数据的服务器侧渲染；
将所述客户端装置切换至所述图像数据的所述客户端侧渲染，所
述切换包括：
传送来自所述服务器的所述应用状态；以及
利用在所述客户端装置处的应用状态差异开始所述图像数据的
客户端侧渲染，使得所述图像数据的所述客户端侧渲染与由所述服务
器提供的最后渲染的视图同步。
10.根据权利要求9所述的方法，其中所述切换作为用户与控件
交互的结果被执行。
11.根据权利要求9-10中任一项所述的方法，其中所述切换根据
预定标准自动执行，所述预定标准是CPU类型、GPU类型、总存储
器、当前CPU利用率、当前GPU利用率、当前存储器利用率、电池
使用寿命、工作温度、显示器大小和发送/接收比特率中的一种。
12.根据权利要求9-11中任一项所述的方法，其还包括使在所述
客户端侧渲染的视图中的偏移、切片索引和视窗/水平中的至少一个
与在所述客户端装置显示的所述最后渲染的视图同步。
13.根据权利要求9-12中任一项所述的方法，其还包括在所述客

\t户端装置高速缓存与在所述服务器渲染的所述图像相关联的图像，使
得在所述切换被执行时，与在所述服务器渲染的所述图像相关联的所
述图像是本地可用的。
14.根据权利要求1-13中任一项所述的方法，其还包括：
提供所述当前视图由协同会话中的多个客户端装置中的每个客
户端装置显示的协同模式；以及
在所述协同会话中的所述多个客户端装置之间连...

【专利技术属性】
技术研发人员：D·C·克拉顿，
申请(专利权)人：卡尔加里科学股份有限公司，
类型：发明
国别省市：加拿大;CA