基于虚拟现实的医学影像三维快速可视化与标注系统技术方案

基于虚拟现实的医学影像三维快速可视化与标注系统，本系统以二维医学影像集作为输入，将二维医学影像转化为三维体数据并对体数据的标量值与梯度情况进行分析。之后对体数据进行体绘制并施加光照模型渲染，再将可视化结果显示在虚拟现实设备的屏幕上。在系统运行时，系统利用测地距离实时对视点周围的无关体数据进行遮挡削弱处理。此外，通过虚拟现实设备和系统具备的交互功能，用户可以不受空间限制的在虚拟场景中自由探索，并对医学数据做出需要的标注。本系统允许用户在虚拟场景中以符合直觉的自然交互方式，对体数据进行观察和标注；并支持用户走进体数据内部，观察完整的内部结构信息的同时不受无关体素的遮挡和干扰。部结构信息的同时不受无关体素的遮挡和干扰。部结构信息的同时不受无关体素的遮挡和干扰。

【技术实现步骤摘要】
基于虚拟现实的医学影像三维快速可视化与标注系统


[0001]本专利技术属于虚拟现实领域以及医学影像可视化领域，具体涉及基于虚拟现实的医学影像三维快速可视化与标注系统。

技术介绍

[0002]医学影像可视化是传递解剖信息的一项重要工具。传统二维医学影像缺乏三维信息，相关人员在观看时需要想象二维图像代表的三维结构。涉及到医学影像的临床应用，如手术路径规划，医学影像图像分割等，都由于需要逐层操作二维图像，导致了任务存在失败或伤害患者的风险。为此，出现了通过体绘制实现二维医学影像集三维可视化的方法。该方法将堆叠的二维医学影像集转化为三维体数据输入，通过体绘制的方法直接将解剖结构以三维的形式呈现在屏幕上。
[0003]虚拟现实技术为用户提供了沉浸式的三维虚拟场景，使用户更专注于眼前任务。头戴式虚拟现实设备可以实时跟踪用户的头部运动，并以此更新虚拟现实场景中的视点位置，从而使用户可以自然快捷的对三维可视化的图像进行观察探索。此外，与传统的在屏幕上进行的二维交互操作模式相比，虚拟现实技术提供了三维空间中的交互模式。使得用户与体数据的交互更加自然直观。
[0004]在医学应用中，用户经常需要观察位于物体内部的结构。这时目标区域与用户视点间的其他无关体素会对视野造成遮挡。这种遮挡问题在虚拟现实中的体绘制场景下更加严重。当用户佩戴头戴式显示设备走进体数据内部时，遮挡会环绕视点四周，导致用户在体数据内部失去方向感，从而妨碍了临床任务的进行，目前现有解决方案如下：
[0005]申请日2021/4/30，申请号：CN202110482041.9，专利名称：一种基于虚拟现实的微创外科手术模拟方法、系统，所述基于虚拟现实的微创外科手术模拟系统包括：数据预处理模块、数据导入模块、中央控制模块、三维图像重建模块、三维立体图像生成模块、立体图像处理模块、手术模拟模块、警告提醒模块、效果评估模块、数据存储模块、更新显示模块。本专利技术利用VR设备提供的虚拟环境，让医生在虚拟空间中对待手术部位的三维模型进行全方位观察，方便医生对病人病情有充分足够的了解；利用VR设备在虚拟空间中进行的模拟手术操作平台，方便医生在术前进行模拟以实现更为具体的术前规划；虚拟现实中呈现出的的三维医学影像模型更为真实，实现医生和三维影像数据之间的交互。
[0006]但是其描述的虚拟现实系统，不支持用户在虚拟场景中走进体数据内部进行自由观察和探索。因为通常情况下，用户视点与目标区域都会保持一定距离以便于获得良好的目标区域视野。当视点进入体数据内部时，视点周围的无关体数据和噪声数据会对视点造成遮挡，导致用户无法看清楚目标区域。本文描述的系统中，应用基于测地距离的遮挡削弱方法，保证了目标区域视野的清晰。同时应用表面增强方法，保证了削弱遮挡的同时体数据结构信息的完整。

技术实现思路

[0007]为解决现有技术中存在的问题，本专利技术提出了基于虚拟现实的医学影像三维快速可视化与标注系统。将医学影像集输入该系统后，系统可以将二维影像集转换为三维体数据。并根据设置的传递函数和基于光线投射方法的体绘制对数据进行三维可视化。借助虚拟现实技术，用户可以在虚拟场景自由探索目标体数据。当需要观察内部的结构时，用户可以进入体数据内部直接观察目标区域。自适应的遮挡削弱方法会削弱视点周围的遮挡，并自适应的保留目标区域结构。此外，为辅助医学任务的进行，系统具备包括文字注释、图像标记等一系列交互功能。
[0008]本专利技术提供基于虚拟现实的医学影像三维快速可视化与标注系统，其特征在于：该方法包括以下步骤：
[0009]S1、医学影像数据转化步骤，获得二维影像数据集后，提取影像像素的标量值，根据像素的图像坐标以及二维图像的排序，将影像数据集中的像素转化为三维标量体数据；
[0010]影像数据转化过程如下:
[0011]首先根据医学影像数据格式，提取医学影像的相关信息，其中包括：像素数据，像素值数据类型，像素尺寸，图像尺寸，缩放比例信息；根据医学影像信息，将像素数据转换为存储像素标量值的三维数组；再根据医学影像尺寸信息，将三维数组渲染成符合影像比例的单通道三维纹理，其中纹理的单通道像素值为经过线性缩放的影像标量；
[0012]S2、体数据分析步骤，输入S1步骤得到的三维标量体数据，计算三维标量体数据的三维标量值梯度数据，体数据中的标量值范围，标量值分布情况，标量值梯度分布情况；进而得出标量值分布峰值，标量值梯度分布峰值，标量值分布突变位置，标量值梯度分布突变位置；
[0013]三维体数据梯度计算采用数值差分方法代替,对于体数据中任意一点该点标量值为f(x
i
，y
i
，z
i
)，其梯度计算采用相邻点标量值差分的形式，其梯度计算如下：
[0014][0015]S3、数据体绘制步骤，输入S1步骤的体数据以及S2步骤的标量值梯度数据和体数据分析结果；根据设定的传递函数，使用光线投射体绘制方法对体数据进行三维可视化渲染；根据标量值梯度数据，对体数据中梯度高于阈值的部分进行额外的Blinn
‑
Phong渲染；
[0016]步骤S3中包括如下子步骤：
[0017]S301、传递函数设置子步骤，该步骤设定了用于体绘制的标量值
‑
不透明度传递函数和标量值
‑
颜色传递函数，两传递函数分别规定了体数据中体素的标量值对应的不透明度值和颜色值；
[0018]S302、传递函数渲染子步骤，该步骤分别将不透明度传递函数与颜色传递函数渲染在两个二维纹理上；不透明度传递函数为单通道纹理，颜色传递函数为RGB三通道纹理；
[0019]S303、光线投射体绘制子步骤，该步骤使用光线投射法对S1步骤得到的体数据三维纹理进行采样，并根据S302子步骤得到的传递函数纹理确定采样体素对应的颜色与不透明度值；之后对颜色与不透明度值进行积分混合实现三维可视化；
[0020]S304、Blinn
‑
Phong渲染子步骤，该子步骤在S303子步骤采样体素并确定对应的颜色值后，将梯度值大于设定阈值的采样点进行Blinn
‑
Phong渲染，得到的新颜色值替换该采样点的原有颜色值；
[0021]S4、实时自适应遮挡削弱步骤，根据头戴式虚拟现实设备输入的相机位置，逐帧实时计算S1步骤得到的三维标量体数据各体素到视点的测地距离；根据三维测地距离场划定遮挡削弱范围，并计算得到三维体素不透明度值削弱场；根据不透明度削弱场对体数据进行遮挡削弱处理；此外进一步增强表面不透明度；之后更新体绘制渲染结果；
[0022]S4步骤包含如下子步骤：
[0023]S401、测地距离场生成子步骤，该子步骤逐帧实时计算了体数据中各体素到视点的测地距离，并形成三维测地距离场；
[0024]S401子步骤中体素与视点间测地距离计算如下：
[0025][0026]其中，为所求体素位置，为视点位置，Γ代表与之间的一条路径，代表与之间所有本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于虚拟现实的医学影像三维快速可视化与标注系统，其特征在于：该方法包括以下步骤：S1、医学影像数据转化步骤，获得二维影像数据集后，提取影像像素的标量值，根据像素的图像坐标以及二维图像的排序，将影像数据集中的像素转化为三维标量体数据；影像数据转化过程如下:首先根据医学影像数据格式，提取医学影像的相关信息，其中包括：像素数据，像素值数据类型，像素尺寸，图像尺寸，缩放比例信息；根据医学影像信息，将像素数据转换为存储像素标量值的三维数组；再根据医学影像尺寸信息，将三维数组渲染成符合影像比例的单通道三维纹理，其中纹理的单通道像素值为经过线性缩放的影像标量；S2、体数据分析步骤，输入S1步骤得到的三维标量体数据，计算三维标量体数据的三维标量值梯度数据，体数据中的标量值范围，标量值分布情况，标量值梯度分布情况；进而得出标量值分布峰值，标量值梯度分布峰值，标量值分布突变位置，标量值梯度分布突变位置；三维体数据梯度计算采用数值差分方法代,对于体数据中任意一点该点标量值为f(x
i
，y
i
，z
i
)，其梯度计算采用相邻点标量值差分的形式，计算如下：S3、数据体绘制步骤，输入S1步骤的体数据以及S2步骤的标量值梯度数据和体数据分析结果；根据设定的传递函数，使用光线投射体绘制方法对体数据进行三维可视化渲染；根据标量值梯度数据，对体数据中梯度高于阈值的部分进行额外的Blinn
‑
Phong渲染；步骤S3中包括如下子步骤：S301、传递函数设置子步骤，该步骤设定了用于体绘制的标量值
‑
不透明度传递函数和标量值
‑
颜色传递函数，两传递函数分别规定了体数据中体素的标量值对应的不透明度值和颜色值；S302、传递函数渲染子步骤，该步骤分别将不透明度传递函数与颜色传递函数渲染在两个二维纹理上；不透明度传递函数为单通道纹理，颜色传递函数为RGB三通道纹理；S303、光线投射体绘制子步骤，该步骤使用光线投射法对S1步骤得到的体数据三维纹理进行采样，并根据S302子步骤得到的传递函数纹理确定采样体素对应的颜色与不透明度值；之后对颜色与不透明度值进行积分混合实现三维可视化；S304、Blinn
‑
Phong渲染子步骤，该子步骤在S303子步骤采样体素并确定对应的颜色值后，将梯度值大于设定阈值的采样点进行Blinn
‑
Phong渲染，得到的新颜色值替换该采样点的原有颜色值；S4、实时自适应遮挡削弱步骤，根据头戴式虚拟现实设备输入的相机位置，逐帧实时计算S1步骤得到的三维标量体数据各体素到视点的测地距离；根据三维测地距离场划定遮挡削弱范围，并计算得到三维体素不透明度值削弱场；根据不透明度削弱场对体数据进行遮
挡削弱处理；此外进一步增强表面不透明度；之后更新体绘制渲染结果；S4步骤包含如下子步骤：S401、测地距离场生成子步骤，该子步骤逐帧实时计算了体数据中各体素到视点的测地距离，并形成三维测地距离场；S401子步骤中体素与视点间测地距离计算如下：其中，为所求体素位置，为视点位置，Γ代表与之间的一条路径，代表与之间所有路径的集合，l(Γ)为路径的长度，为路径上微元s沿路径方向的梯度，γ为设置的梯度权重系数；梯度权重系数γ通过人为设置，初始化采用梯度权重与空间距离等权重的方式自动设置；测地距离场的数值计算方法采用两次扫描法计算；测地距离场的采样分辨率为体数据分辨率的1/8，计算得到的测地距离场在GPU中进行上采样；S402、遮挡削弱系数场生成子步骤，该子步骤根据三维测地距离场划定遮挡削弱范围，并计算得到范围内体素的遮挡削弱系数；之后对范围内体素进行遮挡削弱处理；S402子步骤中的遮挡削弱范围由人工设置的阈值d
T

【专利技术属性】
技术研发人员：朱利丰，张宏坤，宋爱国，
申请(专利权)人：东南大学，
类型：发明
国别省市：