面向微创手术空间感知的内窥镜图像三维重构方法和系统技术方案

本发明专利技术提供一种面向微创手术空间感知的内窥镜图像三维重构方法和系统，涉及三维重构技术领域。本发明专利技术通过获取内窥镜图像，基于预设的多任务神经网络模型对内窥镜图像的当前帧进行深度估计，获取当前帧的点云深度；基于点云深度和相机模型获取局部点云；对多个局部点云进行配准融合；对配准融合后的多个局部点云进行拼接，形成随着时间推移柔性变换的全局点云，对全局点云进行可视化展示。本发明专利技术克服了现有的基于深度学习的内窥镜图像三维重构方法仅能估计当前内窥镜图像的景深信息，无法重构并动态更新整体三维模型的技术问题，实现面向微创手术空间感知的内窥镜图像三维重构。面向微创手术空间感知的内窥镜图像三维重构。面向微创手术空间感知的内窥镜图像三维重构。

【技术实现步骤摘要】
面向微创手术空间感知的内窥镜图像三维重构方法和系统


[0001]本专利技术涉及三维重构
，具体涉及一种面向微创手术空间感知的内窥镜图像三维重构方法和系统。

技术介绍

[0002]微创手术，是指利用内窥镜等现代医疗器械及相关设备进行的手术。在过去的十年里，微创手术以创口小、疼痛轻、出血少、恢复快等优势，成为普外、泌尿、脑外、心外等多个科室的重要诊疗手段。
[0003]在微创手术中，由于内窥镜视场角的限制，医生难以获得全面的体内环境信息。此外，术前和术中器官位移，术中手术操作可能导致解剖学特征缺失，给术中病灶点定位、缝合、切割等操作带来挑战，降低手术精度。体内模型三维重构可以解决上述问题，辅助微创手术的开展。
[0004]现有的基于深度学习的内窥镜图像三维重构方法仅能估计当前内窥镜图像的景深信息，无法重构并动态更新整体三维模型。

技术实现思路

[0005](一)解决的技术问题
[0006]针对现有技术的不足，本专利技术提供了一种面向微创手术空间感知的内窥镜图像三维重构方法和系统，解决了现有的方法无法重构并动态更新整体三维模型的技术问题。
[0007](二)技术方案
[0008]为实现以上目的，本专利技术通过以下技术方案予以实现：
[0009]本专利技术提供了一种面向微创手术空间感知的内窥镜图像三维重构方法，所述方法包括：
[0010]S1、获取内窥镜图像；
[0011]S2、基于预设的多任务神经网络模型对内窥镜图像的当前帧进行深度估计，获取当前帧的点云深度；
[0012]S3、基于所述点云深度和相机模型获取局部点云；
[0013]S4、对多个局部点云进行配准融合；
[0014]S5、对配准融合后的多个局部点云进行拼接，形成随着时间推移柔性变换的全局点云，对全局点云进行可视化展示。
[0015]优选的，所述预设的多任务神经网络模型包括：三类卷积块和全局池化层，所述三类卷积块包括卷积块一、卷积块二和卷积块三，所述多任务神经网络模型处理内窥镜图像的过程包括：
[0016]通过两个卷积块一对两帧内窥镜图像提取内窥镜图像的特征图，得到第一特征图和第二特征图，两个卷积块一之间的网络参数权值共享；
[0017]对所述第一特征图和第二特征图进行拼接，通过所述卷积块二对拼接后的特征图
进行特征提取，得到帧间运动向量估计特征；
[0018]通过所述全局池化层对帧间运动向量估计特征进行池化处理，得到两帧内窥镜图像之间的相机运动向量；
[0019]通过所述卷积块三对拼接后的特征图进行调整特征提取，得到深度信息特征；第二特征图与深度信息特征跳层连接，输出适用于第二张内窥镜图像的多尺度视差图。
[0020]优选的，所述预设的多任务神经网络模型的训练过程包括：
[0021]获取内窥镜图像并进行处理；
[0022]将处理后的内窥镜图像输入到初始神经网络模型，采用自监督的方式对初始神经网络模型进行训练，得到多任务神经网络模型；
[0023]其中，训练过程中的损失函数包括：
[0024]相机帧间运动估计损失：
[0025][0026]其中，表示神经网络模型预设的相机平移向量；表示神经网络模型预设的相机旋转向量；δ1和δ2分别为适用于平移向量和旋转向量的Huber函数的参数；
[0027]其中，Huber函数计算如下：
[0028][0029]其中，y和表示需要进行比较的两个数；
[0030]图像还原损失，包括像素误差损失和相似性误差损失，具体为：
[0031]像素误差损失：
[0032][0033]其中：M和N分别表示图像的像素宽和高的值；I(i,j)表示第二张图在坐标(i,j)下的真实像素值；表示通过算法重建的第二张图在坐标(i,j)的像素值；θ为代表像素误差的Huber函数参数；
[0034]相似性误差损失：
[0035][0036]其中：Sim表示图像相似性评估函数，其值位于0～1之间；I表示真实的第二张图；表示通过算法重建的第二张图；
[0037]深度平滑误差损失：
[0038][0039]其中：D(i,j)表示在坐标(i,j)处，所估计的第二张图的深度的倒数；
[0040]总的损失函数为损失函数的加权和，各部分的权重分配通过神经网络超参数学习获得。
[0041]优选的，所述S3包括：
[0042]根据相机外参对内窥镜图像进行畸变校正，对于非畸变图像像素坐标(u v)，其像素值还原步骤包括：
[0043]对于非畸变图像的归一化平面，有：
[0044][0045]其中，(x
′
y
′
)表示非畸变图像像素坐标(u v)在归一化平面上对应的坐标；
[0046]坐标经畸变后，在归一化平面上的坐标为(x
″ꢀ
y
″
)，有:
[0047][0048]其中，r2＝x
′2+y
′2[0049]畸变后的归一化平面坐标经过投影到像素平面上，得到像素坐标为：
[0050][0051]因此非畸变图像坐标(u v)的像素值即为畸变图像坐标(u
d v
d
)所对应的像素值；而u
d
和v
d
通常为非整数，可以根据双线性插值法求得(u
d v
d
)所对应的像素值；
[0052]双线性插值法如下：
[0053]若u
d
和v
d
均为非整数，则取u1<u
d
<u1+1,v1<v
d
<v1+1；若u1和v1均为整数，则有：
[0054]I(u
d
,v
d
)＝(v1+1
‑
v
d
)I(u
d
,v1)+(v
d
‑
v1)I(u
d
,v1+1)
[0055]其中，
[0056]I(u
d
,v1)＝(u1+1
‑
u
d
)I(u1,v1)+(u
d
‑
u1)I(u1+1,v1)
[0057]I(u
d
,v1+1)＝(u1+1
‑
u
d
)I(u1,v1+1)+(u
d
‑
u1)I(u1+1,v1+1)；
[0058]根据像素值还原后的坐标和相机模型求解点云的x和y，具体为：
[0059]x＝z(u
‑
c
x
)/f
x
[0060]y＝z(v
‑
c
y
)/f
y...

【技术保护点】

【技术特征摘要】
1.一种面向微创手术空间感知的内窥镜图像三维重构方法，其特征在于，所述方法包括：S1、获取内窥镜图像；S2、基于预设的多任务神经网络模型对内窥镜图像的当前帧进行深度估计，获取当前帧的点云深度；S3、基于所述点云深度和相机模型获取局部点云；S4、对多个局部点云进行配准融合；S5、对配准融合后的多个局部点云进行拼接，形成随着时间推移柔性变换的全局点云，对所述全局点云进行可视化展示。2.如权利要求1所述的面向微创手术空间感知的内窥镜图像三维重构方法，其特征在于，所述预设的多任务神经网络模型包括：三类卷积块和全局池化层，所述三类卷积块包括卷积块一、卷积块二和卷积块三，所述多任务神经网络模型处理内窥镜图像的过程包括：通过两个卷积块一对两帧内窥镜图像提取内窥镜图像的特征图，得到第一特征图和第二特征图，两个卷积块一之间的网络参数权值共享；对所述第一特征图和第二特征图进行拼接，通过所述卷积块二对拼接后的特征图进行特征提取，得到帧间运动向量估计特征；通过所述全局池化层对帧间运动向量估计特征进行池化处理，得到两帧内窥镜图像之间的相机运动向量；通过所述卷积块三对拼接后的特征图进行调整特征提取，得到深度信息特征；第二特征图与深度信息特征跳层连接，输出适用于第二张内窥镜图像的多尺度视差图。3.如权利要求1所述的面向微创手术空间感知的内窥镜图像三维重构方法，其特征在于，所述预设的多任务神经网络模型的训练过程包括：获取内窥镜图像并进行处理；将处理后的内窥镜图像输入到初始神经网络模型，采用自监督的方式对初始神经网络模型进行训练，得到多任务神经网络模型；其中，训练过程中的损失函数包括：相机帧间运动估计损失：其中，表示神经网络模型预设的相机平移向量；表示神经网络模型预设的相机旋转向量；δ1和δ2分别为适用于平移向量和旋转向量的Huber函数的参数；其中，Huber函数计算如下：
其中，y和表示需要进行比较的两个数；图像还原损失，包括像素误差损失和相似性误差损失，具体为：像素误差损失：其中：M和N分别表示图像的像素宽和高的值；I(i，j)表示第二张图在坐标(i，j)下的真实像素值；表示通过算法重建的第二张图在坐标(i，j)的像素值；θ为代表像素误差的Huber函数的参数；相似性误差损失：其中：Sim表示图像相似性评估函数，其值位于0～1之间；I表示真实的第二张图；表示通过算法重建的第二张图；深度平滑误差损失：其中：D(i，j)表示在坐标(i，j)处，所估计的第二张图的深度的倒数；总的损失函数为上述损失函数的加权和，各部分的权重分配通过神经网络超参数学习获得。4.如权利要求1所述的面向微创手术空间感知的内窥镜图像三维重构方法，其特征在于，所述S3包括：根据相机外参对内窥镜图像进行畸变校正，对于非畸变图像像素坐标(u v)，其像素值还原步骤包括：对于非畸变图像的归一化平面，有：其中，(x
′ꢀ
y
′
)表示非畸变图像像素坐标(u v)在归一化平面上对应的坐标；坐标经畸变后，在归一化平面上的坐标为(x
″ꢀ
y
″
)，有：
其中，r2＝x
′2+y
′2畸变后的归一化平面坐标经过投影到像素平面上，得到像素坐标为：因此非畸变图像坐标(u v)的像素值即为畸变图像坐标(u
d v
d
)所对应的像素值；而u
d
和v
d
通常为非整数，可...

【专利技术属性】
技术研发人员：李霄剑，李玲，丁帅，杨善林，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：