【技术实现步骤摘要】
本专利技术涉及三维场景重建方法的，具体涉及一种基于神经辐射场的内窥镜视频三维场景重建方法。
技术介绍
1、在机器人微创手术中，将内窥镜双目采集的视频三维重建出手术场景中的软体组织是一项非常重要但充满挑战性的任务。高质量的手术场景重建是包括术中导航、增强现实、手术场景仿真、沉浸式手术教学以及机器人手术自动化在内许多下游任务的先决条件。
2、由于多数的内窥镜都具备双目立体相机，深度往往可以通过双目视觉进行估计，可基于slam的方法，将深度图在三维空间上进行融合以达到在更为复杂的设定下重建出更为逼真的手术场景。通过由手术器械遮蔽模块、双目深度估计以及surfelwarp重建算法组成的用于单视角下三维重建可形变组织的框架。然而，这些方法中，对形变的建模与追踪是基于一个稀疏的弯曲场。这样的建模往往难以处理非常剧烈的形变，例如物体短时间发生了大幅形变甚至是发生了拓扑结构上的变化。
3、公告号为cn111080778a的中国专利技术专利申请文件公开了一种双目内窥镜软组织图像的在线三维重建方法，先根据当前采集到的最近一段时间内的双目内窥镜软组织图像序列对深度神经网络模型进行训练并进行在线调整，再利用调整好的深度神经网络模型估计后续帧的双目内窥镜软组织图像的视差，然后通过视差和相机参数得到内窥镜图像像素点的三维空间坐标，从而获得目标区域的三维形态坐标，完成三维图像的在线重建；最后又通过后续帧图像间隔的更新深度神经网络模型，确保重建精度。
4、尽管目前在此项任务上的许多工作取得了一定的进展，许多关键的场景重建问题
技术实现思路
1、为了解决上述技术问题，本专利技术的目的在于提供一种基于神经辐射场的内窥镜视频三维场景重建方法，其包括以下步骤：建立动态辐射场、提取器械遮罩、获取采样点、重建三维场景，该基于神经辐射场的内窥镜视频三维场景重建方法具有在动态条件下重建的三维场景与实际重建目标的一致性及准确性较好的优点的优点。
2、为实现上述专利技术目的，本专利技术采取的技术方案如下：
3、一种基于神经辐射场的内窥镜视频三维场景重建方法，包括以下步骤：
4、s1、建立动态辐射场：使用d-nerf中的建模将动态场景表达为一个模版神经辐射场和一个时间相关的神经位移场；
5、s2、提取器械遮罩：利用模版神经辐射场中使用的可微分体渲染来产生用于监督网络模型训练的渲染颜色与深度，并运行器械遮罩指示的光线投射算法；
6、s3、获取采样点：在三维场景中射入相机射线，所述相机射线从三维模型中的相机位置传播，获取沿相机射线在三维场景中分布在重建目标处的采样点；
7、s4、重建三维场景：将采样点输入网络模型以得到颜色与密度，根据颜色与密度渲染相机射线所对应的颜色与深度，以此重建三维场景的几何、颜色以及形变。
8、通过这样的设置：能够实时根据内窥镜的单视角立体视频完成对重建目标的三维结构与纹理的重建，且位移场对动态的建模足以明确地且具有物理意义地表达重建目标的形变，达到了在动态条件下重建的三维场景与实际重建目标的一致性及准确性较好的优点。通过具有立体深度的高斯传递函数来对重建目标附近的点进行采样，能够获得更准确的几何信息。本专利技术提取了内窥镜相机拍摄到的器械的遮罩，用于标识器械遮挡住的部分图像及对应的相机射线，保证这些部分对应的相机射线不会被用以模型训练。
9、作为优选，在步骤s1中，还包括以下步骤：
10、模版神经辐射场表示为fθ(x,d)的8层感知神经网络，θ为网络参数，x为空间坐标，d为相机射线指向，代表实数集。
11、通过这样的设置：能够对模板神经辐射场的模型进训练，并能够通过模板神经辐射场将空间坐标和相机射线指向映射到rgb颜色和空间密度
12、作为优选，在步骤s1中，还包括以下步骤：
13、时间相关的神经位移场表示为gφ(x,t)的8层感知神经网络，φ为网络参数，(x,t)为时空坐标。
14、通过这样的设置：能够对时间相关的神经位移场的模型进训练，并能够通过时间相关的神经位移场将输入时空坐标(x,t)映射到位移。该位移场对动态的建模足以明确地且具有物理意义地表达所有软体重建目标形变。
15、作为优选，在步骤s1中，还包括以下步骤：
16、使用位置编码γ(·)将输入坐标和时间映射到高频傅立叶特征，然后再将所述高频傅立叶特征馈送到网络。
17、通过这样的设置：能够捕获高频细节。
18、作为优选，在步骤s2中，还包括以下步骤：
19、提取相机视角中器械的遮罩用于标识器械遮挡住的部分，其中t为帧数，第i帧的时间为i/t，在所述器械遮罩指示的光线投射算法中，将mi考虑为重要性热图并执行重要性采样以避免向器械像素投射用于训练的相机射线。
20、通过这样的设置：使用器械遮罩，以判别哪些相机射线应该被忽略，保证了这些部分对应的相机射线不会被用以训练，从而消失在最终重建出的场景中。
21、作为优选，在步骤s3中，还包括以下步骤：
22、原始的模版神经辐射场提出分层抽样以获得s1≤s2···≤sm，使用一系列相机射线采样步长s1≤s2···≤sm将每个相机射线r(s)离散为一系列的点对于相机立体视频的第i帧，射向像素(u,v)的相机射线r(s)的传递函数公式为：
23、δ(s；u,v,i)＝exp(-(s-di[u,v])2/2ξ2})
24、传递函数δ(s；u,v,i)描述了一个脉冲分布，并在r(s)上的每个位置连续分配采样权重，其中s为采样步长，di[u,v]为第i张深度图(u,v)坐标处的深度值，脉冲以di[u,v]为中心，脉冲的宽度由超参ξ控制。
25、通过这样的设置：利用双目信息更加有效地采样空间。
26、作为优选，在步骤s4中，还包括以下步骤：
27、相机射线r(s)的发射颜色c和深度d通过体渲染进行计算：
28、
29、
30、其中wj为颜色权重项，c与σ分别为相机射线上r(s)采样点sj的颜色与密度，sk代表沿着相机射线r(s)的第k个采样点的位置参数，wk代表第k个采样点的权重。
31、通过这样的设置：实现相机射线r(s)的发射颜色c和光学深度d的渲染计算，有利于对动态模版神经辐射场的优化。
32、作为优选，在步骤s4中，还包括以下步骤：
33、通过联合监督渲染本文档来自技高网...
【技术保护点】
1.一种基于神经辐射场的内窥镜视频三维场景重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于神经辐射场的内窥镜视频三维场景重建方法，其特征在于，在步骤S1中，还包括以下步骤：
3.根据权利要求1所述的基于神经辐射场的内窥镜视频三维场景重建方法，其特征在于，在步骤S1中，还包括以下步骤：
4.根据权利要求3所述的基于神经辐射场的内窥镜视频三维场景重建方法，其特征在于，在步骤S1中，还包括以下步骤：
5.根据权利要求1所述的基于神经辐射场的内窥镜视频三维场景重建方法，其特征在于，在步骤S2中，还包括以下步骤：
6.根据权利要求1所述的基于神经辐射场的内窥镜视频三维场景重建方法，其特征在于，在步骤S3中，还包括以下步骤：
7.根据权利要求1所述的基于神经辐射场的内窥镜视频三维场景重建方法，其特征在于，在步骤S4中，还包括以下步骤：
8.根据权利要求2所述的基于神经辐射场的内窥镜视频三维场景重建方法，其特征在于，在步骤S4中，还包括以下步骤：
9.根据权利要求8所述的基于神经辐
10.根据权利要求9所述的基于神经辐射场的内窥镜视频三维场景重建方法，其特征在于，在步骤S4中，还包括以下步骤：
...【技术特征摘要】
1.一种基于神经辐射场的内窥镜视频三维场景重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于神经辐射场的内窥镜视频三维场景重建方法，其特征在于，在步骤s1中，还包括以下步骤：
3.根据权利要求1所述的基于神经辐射场的内窥镜视频三维场景重建方法，其特征在于，在步骤s1中，还包括以下步骤：
4.根据权利要求3所述的基于神经辐射场的内窥镜视频三维场景重建方法，其特征在于，在步骤s1中，还包括以下步骤：
5.根据权利要求1所述的基于神经辐射场的内窥镜视频三维场景重建方法，其特征在于，在步骤s2中，还包括以下步骤：
6.根据权...
【专利技术属性】
技术研发人员：窦琪，王悦豪，龙永灏，
申请(专利权)人：香港中文大学深港创新研究院福田，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。