面向移动设备的真实感体渲染和交互系统及其工作方法技术方案

本发明专利技术提供一种面向移动设备的真实感体渲染和交互系统及其工作方法，真实感体渲染和交互系统包括服务器端和客户端，所述服务器端包括：渲染服务器，处理体渲染任务；Web服务器，处理Web页面、发送渲染图像并接收交互事件；耦合组件，连接渲染服务器和Web服务器；所述客户端包括：客户端浏览器，接收并显示Web服务器发送的渲染图像，并将用户产生的交互事件发送至Web服务器。本发明专利技术采用浏览器/服务器（B/S）架构将计算设备与交互显示设备进行分离，用户可通过接入网络的移动设备透明使用远端高性能真实感体渲染服务器而无需关心交互显示设备的计算能力。

【技术实现步骤摘要】
面向移动设备的真实感体渲染和交互系统及其工作方法
本专利技术属于图形处理
，具体涉及一种面向移动设备的真实感体渲染和交互系统及其工作方法，尤其是一种面向移动设备的基于物理的真实感体渲染和交互系统。
技术介绍
目前通过计算机断层扫描（CT）以及磁共振成像（MRT）获取患者病变部位的影响图片是医生进行临床诊断、手术规划和检测药物介入治疗效果的常用手段。体渲染技术（VolumeRendering）可以由CT等设备产生的离散三维标量数据产生能够直观传递三维体数据形状、深度和大小信息的二维图片。高分辨率CT及MRI数据的三维交互式重建通常在高性能图形处理器（GPU）工作站或计算集群上才能实现，但一般用户很难接触到这些昂贵的计算资源。即使医院等机构拥有高性能计算设备，其同时也只能为一个用户服务，导致计算资源利用率较低。此外，高性能计算设备体积较大，缺乏便携性，对其使用受到空间位置限制。目前大多数移动设备（如智能手机或平板电脑等）所配备的多点触控屏幕使其非常适合作为医学应用的交互接口，移动设备显示质量和分辨率都能和常用桌面设备相媲美，最重要的是移动设备的可便携性以及现在无处不在的网络连接使得医生在进行协作诊断和治疗时不再被限制在医院里的工作站设备。但交互式真实感医学数据可视化需要巨大的计算能力和存储容量及存储带宽，移动设备和普通桌面设备很难达到该要求。
技术实现思路
本专利技术要解决的技术问题是提供一种面向移动设备的真实感体渲染和交互系统及其工作方法，采用浏览器/服务器（B/S）架构将计算设备与交互显示设备进行分离，用户可通过接入网络的移动设备透明使用远端高性能真实感体渲染服务器而无需关心交互显示设备的计算能力。为解决上述技术问题，本专利技术的实施例提供一种面向移动设备的真实感体渲染和交互系统，包括服务器端和客户端，所述服务器端包括：渲染服务器，处理体渲染任务；Web服务器，处理Web页面、发送渲染图像并接收交互事件；耦合组件，连接渲染服务器和Web服务器；所述客户端包括：客户端浏览器，接收并显示Web服务器发送的渲染图像，并将用户产生的交互事件发送至Web服务器。其中，所述服务器端包括GPU体渲染模块、消息管理模块和浏览器通信模块，所述GPU体渲染模块包括渲染服务器管理单元、体渲染单元和图像输出单元，所述消息管理模块包括图像数据分发单元和交互事件分发单元，所述浏览器通信模块包括图像数据发送单元和交互事件接收单元。其中，所述渲染服务器管理单元从渲染服务器集群中选择一台计算资源充足的主机，启动体渲染单元；所述体渲染单元从服务器端体数据存储服务器中将体数据拷贝到渲染服务器的显存中，设置渲染参数，进行渐进式迭代渲染，将迭代渲染结果移交至图像输出单元；所述图像输出单元根据服务器端耦合组件的状态信息决定是否将图像送入耦合组件缓冲队列。其中，所述图像数据分发单元为图像数据增加用户信息，将其移交至浏览器通信模块；所述交互事件分发单元从交互事件信息中提取用户信息、交互事件名称和交互事件参数，根据用户信息将交互事件分发至GPU体渲染模块。其中，所述图像数据发送单元根据图像数据的用户信息将其发送至对应用户；所述交互事件接收单元负责接收客户端浏览器发送的交互事件信息并将其移交至消息管理模块。其中，所述客户端包括图像显示模块、交互动作监听模块和服务器通信模块，所述图像显示模块根据接收到的压缩图像格式选择相应的解压算法对图像数据进行解压并在客户端浏览器的页面上显示；所述交互动作监听模块监听图像旋转、缩放和平移操作，传输函数改变操作，灯光参数改变操作，裁剪面设置操作，相机参数设置操作，侦测到交互操作后将交互事件封装到JSON结构体中并移交至服务器通信模块；所述服务器通信模块包括图像数据接收单元和交互事件发送单元，所述图像数据接收单元负责接收来自Web服务器的压缩渲染图像，将其移交至图像显示模块，所述交互事件发送单元负责将封装好的交互事件消息发送至Web服务器。其中，所述耦合组件包括自适应渲染服务器图像输出速度调整模块和图像压缩模块；所述自适应渲染服务器图像输出速度调整模块的缓冲队列连接渲染服务器和Web服务器，当缓冲队列被填满时说明渲染服务器输出图像速度高于Web服务器发送图像的速度，此时增大渲染服务器输出图像的时间间隔，减小其输出速度；当缓冲队列被取空时说明Web服务器发送图像的速度高于渲染服务器输出图像的速度，此时需要减小渲染服务器输出图像的时间间隔，增大其输出速度；所述图像压缩模块为了在不同网络环境下提高交互刷新率，对每次重新迭代渲染的前几十帧图像采用较低的JPEG质量压缩，提高压缩率，对中间渲染结果采用中等偏高的JPEG质量压缩，在保证一定压缩率的条件下保持较好的图像质量；对最终的高质量渲染结果采用PNG格式压缩，避免图像细节丢失。本专利技术实施例还提供一种面向移动设备的真实感体渲染和交互系统的工作方法，包括如下步骤：S101、用户通过客户端浏览器输入服务器端Web服务器的主机地址，客户端浏览器向Web服务器发送请求登录页面的HTTP请求，Web服务器向客户端浏览器返回登录页面的HTML内容；S102、用户输入用户名、密码等验证信息后向Web服务器发送登录验证请求，验证通过后Web服务器返回体数据管理页面；体数据管理页面的逻辑处理包括：S102-1、从Web服务器获得该用户已上传的体数据，在体数据管理页面上列出数据列表；S102-2、用户可删除已有体数据，向Web服务器发送删除请求；S102-3、用户可选择上传新的体数据，从本地选择一个或多个体数据上传至体数据存储服务器；S102-4、从列表中选择一个体数据进行渲染。S103、用户在体数据管理页面上选定目标渲染体数据后，Web服务器向渲染服务器发送启动体渲染器实例的指令，并将体数据描述信息发送给渲染服务器；S104、渲染服务器收到启动指令及体数据描述信息后创建一个体渲染器实例；从体数据存储服务器中检索出所需渲染的体数据后将体数据复制到渲染服务器的显存中并启动体渲染器实例，开始渲染体数据；S105、Web服务器确认体渲染器实例启动后向客户端浏览器发送渲染服务器启动成功信息和交互渲染工作页面；S106、客户端浏览器收到渲染服务器启动成功信息后与Web服务器之间建立WebSocket通信通道；S107、WebSocket通信通道建立后开始交互体渲染循环，该循环由服务器端和客户端共同完成。进一步，所述交互体渲染循环的实施流程包括：S107-1、客户端的交互动作监听模块通过为交互工作页面的每个可交互元素编写的Javascript回调函数用以监听用户交互操作；S107-2、发生用户交互事件后，回调函数将交互事件的参数封装成{event_name:name,event_parameters:parameters}的JSON格式移交至客户端的服务器通信模块；S107-3、客户端的服务器通信模块调用WebSocket对象的发送方法发送给Web服务器；S107-4、位于Web服务器上的浏览器通信模块收到交互事件消息后将其移交给消息管理模块；S107-5、消息管理模块从交互事件JSON结构中提取交互事件名及交互事件参数后更新事件名对应的渲染参数，将更新后的渲染参数发送给服务该用户的体渲染器实例的GPU体渲染本文档来自技高网...

【技术保护点】
一种面向移动设备的真实感体渲染和交互系统，其特征在于，包括服务器端和客户端，所述服务器端包括：渲染服务器，处理体渲染任务；Web服务器，处理Web页面、发送渲染图像并接收交互事件；耦合组件，连接渲染服务器和Web服务器；所述客户端包括：客户端浏览器，接收并显示Web服务器发送的渲染图像，并将用户产生的交互事件发送至Web服务器。

【技术特征摘要】
1.一种面向移动设备的真实感体渲染和交互系统，其特征在于，包括服务器端和客户端，所述服务器端包括：渲染服务器，处理体渲染任务；Web服务器，处理Web页面、发送渲染图像并接收交互事件；耦合组件，连接渲染服务器和Web服务器；所述客户端包括：客户端浏览器，接收并显示Web服务器发送的渲染图像，并将用户产生的交互事件发送至Web服务器。2.根据权利要求1所述的面向移动设备的真实感体渲染和交互系统，其特征在于，所述服务器端包括GPU体渲染模块、消息管理模块和浏览器通信模块，所述GPU体渲染模块包括渲染服务器管理单元、体渲染单元和图像输出单元，所述消息管理模块包括图像数据分发单元和交互事件分发单元，所述浏览器通信模块包括图像数据发送单元和交互事件接收单元。3.根据权利要求2所述的面向移动设备的真实感体渲染和交互系统，其特征在于，所述渲染服务器管理单元从渲染服务器集群中选择一台计算资源充足的主机，启动体渲染单元；所述体渲染单元从服务器端体数据存储服务器中将体数据拷贝到渲染服务器的显存中，设置渲染参数，进行渐进式迭代渲染，将迭代渲染结果移交至图像输出单元；所述图像输出单元根据服务器端耦合组件的状态信息决定是否将图像送入耦合组件缓冲队列。4.根据权利要求2所述的面向移动设备的真实感体渲染和交互系统，其特征在于，所述图像数据分发单元为图像数据增加用户信息，将其移交至浏览器通信模块；所述交互事件分发单元从交互事件信息中提取用户信息、交互事件名称和交互事件参数，根据用户信息将交互事件分发至GPU体渲染模块。5.根据权利要求2所述的面向移动设备的真实感体渲染和交互系统，其特征在于，所述图像数据发送单元根据图像数据的用户信息将其发送至对应用户；所述交互事件接收单元负责接收客户端浏览器发送的交互事件信息并将其移交至消息管理模块。6.根据权利要求1所述的面向移动设备的真实感体渲染和交互系统，其特征在于，所述客户端包括图像显示模块、交互动作监听模块和服务器通信模块，所述图像显示模块根据接收到的压缩图像格式选择相应的解压算法对图像数据进行解压并在客户端浏览器的页面上显示；所述交互动作监听模块监听图像旋转、缩放和平移操作，传输函数改变操作，灯光参数改变操作，裁剪面设置操作，相机参数设置操作，侦测到交互操作后将交互事件封装到JSON结构体中并移交至服务器通信模块；所述服务器通信模块包括图像数据接收单元和交互事件发送单元，所述图像数据接收单元负责接收来自Web服务器的压缩渲染图像，将其移交至图像显示模块，所述交互事件发送单元负责将封装好的交互事件消息发送至Web服务器。7.根据权利要求1所述的面向移动设备的真实感体渲染和交互系统，其特征在于，所述耦合组件包括自适应渲染服务器图像输出速度调整模块和图像压缩模块；所述自适应渲染服务器图像输出速度调整模块的缓冲队列连接渲染服务器和Web服务器，当缓冲队列被填满时说明渲染服务器输出图像速度高于Web服务器发送图像的速度，此时增大渲染服务器输出图像的时间间隔，减小其输出速度；当缓冲队列被取空时说明Web服务器发送图像的速度高于渲染服务器输出图像的速度，此时需要减小渲染服务器输出图像的时间间隔，增大其输出速度；所述图像压缩模块对每次重新迭代渲染的前几十帧图像采用较低的JPEG质量压缩，对中间渲染结果采用中等偏高的JPEG质量压缩，对最终的高质量渲染结果采用PNG格式压缩。8.一种面向移动设备的真实感体渲染和交互系统的工作方法，其特征在于，包括如下步骤：S101、...

【专利技术属性】
技术研发人员：高瞻，孙万捷，潘海燕，王杰华，黄希，蒋峥峥，
申请(专利权)人：南通大学，南通大学附属医院，
类型：发明
国别省市：江苏,32