基于单目相机重建的虚实融合渲染方法及装置制造方法及图纸

基于单目相机重建的虚实融合渲染方法及装置，能够解决虚实互相遮挡时显示缺乏深度感的问题，提升了医生对增强现实显示中的深度感知，能够更精准地获取虚拟模型与真实解剖结构的位置关系，有助于手术视野的拓展。方法包括：(1)通过单目相机对真实场景的实时重建，获得真实目标的三维点云信息；(2)通过计算单目相机光心到真实目标三维点云的距离以及光心到虚拟模型的距离来判断虚拟模型是否被遮挡；(3)被遮挡的虚拟模型的部分仅渲染边缘轮廓，未被遮挡的部分正常渲染显示。未被遮挡的部分正常渲染显示。未被遮挡的部分正常渲染显示。

【技术实现步骤摘要】
基于单目相机重建的虚实融合渲染方法及装置


[0001]本专利技术涉及医学图像处理的
，尤其涉及一种基于单目相机重建的虚实融合渲染方法，以及基于单目相机重建的虚实融合渲染装置，主要用于增强现实显示中的目标虚实遮挡处理。

技术介绍

[0002]当前，医疗级的增强现实显示技术都是将虚拟模型叠加在真实目标上，但虚实叠加并未处理深度问题，仅仅将虚拟模型放置在空间中的特定位置，这样导致当真实目标遮挡虚拟模型时，虚拟模型仍然飘在目标前方，缺乏深度方向的真实感。
[0003]在医疗领域，当重要组织的三维虚拟模型与真实环境增强融合后，若能获取相机与真实目标和虚拟模型的深度信息，则医生可以看见皮下重要组织的方位，同时也不会因为虚拟模型漂浮在皮肤上方而导致皮肤外的组织看不清。

技术实现思路

[0004]为克服现有技术的缺陷，本专利技术要解决的技术问题是提供了一种基于单目相机重建的虚实融合渲染方法，其能够解决虚实互相遮挡时显示缺乏深度感的问题，提升了医生对增强现实显示中的深度感知，能够更精准地获取虚拟模型与真实解剖结构的位置关系，有助于手术视野的拓展。
[0005]本专利技术的技术方案是：这种基于单目相机重建的虚实融合渲染方法，其包括以下步骤：
[0006](1)通过单目相机对真实场景的实时重建，获得真实目标的三维点云信息；
[0007](2)通过计算单目相机光心到真实目标三维点云的距离以及光心到虚拟模型的距离来判断虚拟模型是否被遮挡；
[0008](3)被遮挡的虚拟模型的部分仅渲染边缘轮廓，未被遮挡的部分正常渲染显示。
[0009]本专利技术通过单目相机对真实解剖结构的实时三维重建，确定了相机光心与真实目标的深度信息，进而可以判断虚拟模型的每一个点是否被真实目标遮挡，被遮挡的虚拟模型部分由点云的轮廓反投影至真实目标表面显示，未被遮挡的虚拟模型部分全部正常显示，因此能够解决虚实互相遮挡时显示缺乏深度感的问题，提升了医生对增强现实显示中的深度感知，能够更精准地获取虚拟模型与真实解剖结构的位置关系，有助于手术视野的拓展。
[0010]还提供了一种基于单目相机重建的虚实融合渲染方法，该方法包括以下步骤：
[0011](a)获取CT或MRI影像数据：利用CT设备或核磁设备对病人的预定部位进行术前扫描，以获取术前CT或MRI影像；
[0012](b)对CT或MRI影像中的病人重要组织结构部分进行分割和三维重建，在模型空间中建立病人的重要组织三维模拟模型；
[0013](c)执行空间配准，将重要组织三维虚拟模型转移至患者空间；
[0014](d)计算相机光心与虚拟模型每个点的方向矢量基于ORB_Slam算法对单目相机视场内的解剖结构实时三维重建，获得真实目标的三维结构点云R；
[0015](e)获取方向矢量与三维重建点云R的所有交点q
(i,j)(j＝1,2,
…
m)
，其中，m为交点个数；计算光心点C与交点集q
(i,j)
以及C与虚拟点p
i
的距离；
[0016](f)判断点p
i
是否被遮挡：当点C与交点集q
(i,j)
中距离的最小值小于C与虚拟点p
i
的距离时，点p
i
被遮挡；当点C与交点集q
(i,j)
中距离的最小值不小于C与虚拟点p
i
的距离时，点p
i
未被遮挡；
[0017](g)将被遮挡和未被遮挡的点集分隔开：被遮挡的点云根据相机视角提取边缘点集p
b
，边缘点集p
b
中的每一个点与光心C相连的矢量与点云R相交，则与光心C最近的交点替换边缘点显示在相机的像平面上；未被遮挡的点集p
n
全部正常显示。
[0018]还提供了基于单目相机重建的虚实融合渲染装置，其包括：
[0019]实时重建模块，其通过单目相机对真实场景的实时重建，获得真实目标的三维点云信息；
[0020]遮挡判断模块，其通过计算单目相机光心到真实目标三维点云的距离以及光心到虚拟模型的距离来判断虚拟模型是否被遮挡；
[0021]渲染模块，其配置为被遮挡的虚拟模型的部分仅渲染边缘轮廓，未被遮挡的部分正常渲染显示。
附图说明
[0022]图1示出了根据本专利技术的第一种基于单目相机重建的虚实融合渲染方法的流程图。
[0023]图2示出了根据本专利技术的第二种基于单目相机重建的虚实融合渲染方法的流程图。
[0024]图3示出了单目相机的虚实融合视角示意图。
具体实施方式
[0025]解决虚实互相遮挡导致看不清的问题的有效方式是实时获取相机与真实目标和虚拟模型的深度信息，并基于深度信息对虚拟模型进行分层次渲染，使被遮挡的虚拟部分只显示边缘轮廓，不被遮挡的虚拟部分正常显示所有点云。通过用边缘轮廓代替被遮挡的全部点云后，虚拟模型被遮挡的部分不会因为飘在真实目标前方而遮挡真实目标。
[0026]如图1所示，这种基于单目相机重建的虚实融合渲染方法，其包括以下步骤：
[0027](1)通过单目相机对真实场景的实时重建，获得真实目标的三维点云信息；
[0028](2)通过计算单目相机光心到真实目标三维点云的距离以及光心到虚拟模型的距离来判断虚拟模型是否被遮挡；
[0029](3)被遮挡的虚拟模型的部分仅渲染边缘轮廓，未被遮挡的部分正常渲染显示。
[0030]本专利技术通过单目相机对真实解剖结构的实时三维重建，确定了相机光心与真实目标的深度信息，进而可以判断虚拟模型的每一个点是否被真实目标遮挡，被遮挡的虚拟模
型部分由点云的轮廓反投影至真实目标表面显示，未被遮挡的虚拟模型部分全部正常显示，因此能够解决虚实互相遮挡时显示缺乏深度感的问题，提升了医生对增强现实显示中的深度感知，能够更精准地获取虚拟模型与真实解剖结构的位置关系，有助于手术视野的拓展。
[0031]优选地，所述步骤(1)中，获取CT或MRI影像，并进行重要组织的分割和三维重建；当执行空间配准后，虚拟模型被转换至真实患者空间；通过单目相机重建方法获取相机视场内的所有解剖结构的三维点云。
[0032]优选地，所述步骤(2)中，计算相机光心与虚拟模型上每一个点的方向矢量，然后计算此方向矢量与上面重建的三维点云的所有交点；对于虚拟模型上的任意一个点，计算其对应的方向矢量与解剖结构重建的三维点云的交点与相机光心的距离；若光心与每一个交点的距离的最小值大于光心与虚拟模型上的这个点的距离，则认为虚拟模型的这个点没有被真实目标遮挡；若光心与每一个交点的距离的最小值小于光心与虚拟模型上的这个点的距离，则认为虚拟模型的这个点被真实目标遮挡。
[0033]优选地，所述步骤(3)中，将虚拟模型上没有被遮挡的点集全部渲染显示；将被真实目标遮挡的点集根据相机视角提取其边缘点，并把这些边缘点根据相机视角方向反本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于单目相机重建的虚实融合渲染方法，其特征在于：其包括以下步骤：(1)通过单目相机对真实场景的实时重建，获得真实目标的三维点云信息；(2)通过计算单目相机光心到真实目标三维点云的距离以及光心到虚拟模型的距离来判断虚拟模型是否被遮挡；(3)被遮挡的虚拟模型的部分仅渲染边缘轮廓，未被遮挡的部分正常渲染显示。2.根据权利要求1所述的基于单目相机重建的虚实融合渲染方法，其特征在于：所述步骤(1)中，获取CT或MRI影像，并进行重要组织的分割和三维重建；当执行空间配准后，虚拟模型被转换至真实患者空间；通过单目相机重建方法获取相机视场内的所有解剖结构的三维点云。3.根据权利要求2所述的基于单目相机重建的虚实融合渲染方法，其特征在于：所述步骤(2)中，计算相机光心与虚拟模型上每一个点的方向矢量，然后计算此方向矢量与上面重建的三维点云的所有交点；对于虚拟模型上的任意一个点，计算其对应的方向矢量与解剖结构重建的三维点云的交点与相机光心的距离；若光心与每一个交点的距离的最小值大于光心与虚拟模型上的这个点的距离，则认为虚拟模型的这个点没有被真实目标遮挡；若光心与每一个交点的距离的最小值小于光心与虚拟模型上的这个点的距离，则认为虚拟模型的这个点被真实目标遮挡。4.根据权利要求3所述的基于单目相机重建的虚实融合渲染方法，其特征在于：所述步骤(3)中，将虚拟模型上没有被遮挡的点集全部渲染显示；将被真实目标遮挡的点集根据相机视角提取其边缘点，并把这些边缘点根据相机视角方向反投影至真实目标的表面，形成在真实目标表面上的虚拟轮廓。5.基于单目相机重建的虚实融合渲染方法，其特征在于：该方法包括以下步骤：(a)获取CT或MRI影像数据：利用CT设备或核磁设备对病人的预定部位进行术前扫描，以获取术前CT或MRI影像；(b)对CT或MRI影像中的病人重要组织结构部分进行分割和三维重建，在模型空间中建立病人的重要组织三维模拟模型；(c)执行空间配准，将重要组织三维虚拟模型转移至患者空间；(d)计算相机光心与虚拟模型每个点的方向矢量基于ORB_Slam算法对单目相机视场内的解剖结构实时三维重建，获得真实目标的三维结构点云R；(e)获取方向矢量与三维重建点云R的所有交点q
(i，j)(j＝1，2，
…
m)
，其中，m为交点个数；计算光心点C与交点集q
(i，j)
以及C与虚拟点p
i
的...

【专利技术属性】
技术研发人员：武潺，杨健，邵龙，王涌天，范敬凡，艾丹妮，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：