面向微创术中辅助决策的体内三维信息测量系统技术方案

本发明专利技术提供一种面向微创术中辅助决策的体内三维信息测量系统，涉及微创手术技术领域。本发明专利技术中接收医生任意的感兴趣区域标注，获取多样性测量数据，实现术中主动选择性和高参考性，在一定程度上提高了手术的质量；提出通过精准重建的数字化模型获取手术部位的三维信息，经计算提供手术部位的真实长度、面积和体积，辅助医生在术中更精准决策，有效避免手术意外、术中大出血等风险，保障手术安全性，有效提高手术医疗质量。此外，引入的基于双目内窥镜的在线自监督学习深度估计方法，其所使用的双目深度估计网络具有快速过学习的能力，能够利用自监督信息不断适应新场景，进而保证在复杂多变的环境下计算三维测量信息的准确性。性。性。

【技术实现步骤摘要】
面向微创术中辅助决策的体内三维信息测量系统


[0001]本专利技术涉及微创手术
，具体涉及一种面向微创术中辅助决策的体内三维信息测量系统。

技术介绍

[0002]相比于传统开放性手术，微创手术(如内腔镜手术)具有创口小、流血少、恢复速度快等优点，逐渐被广泛采用。
[0003]术中三维信息的测量可以为医生提供手术中感兴趣区域的组织结构信息，让医生更清楚地了解手术区域的结构和特征，帮助医生确定手术方案，比如选择手术器械和手术路径等，提高手术的准确性和效率；同时，术中测量可以提供数据反馈，让医生根据测量数据调整手术步骤和方法，避免手术错误或不必要的切割和损伤。现有手术辅助系统中，多数聚焦于某种特定手术场景，并且测量数据为术前测量所得，不具有广泛适用性；通过系统测量的数据多固定于特定部位(如手术切割面)且种类单一，限制医生主动选择性和参考性；通过算法模型和运动模型的控制，测量参考信息存在误差，难以保障精度。
[0004]为了克服上述技术缺陷，有必要提供一种新的手术测量系统。

技术实现思路

[0005](一)解决的技术问题
[0006]针对现有技术的不足，本专利技术提供了一种面向微创术中辅助决策的体内三维信息测量系统，解决了测量受限于特定部位的技术问题。
[0007](二)技术方案
[0008]为实现以上目的，本专利技术通过以下技术方案予以实现：
[0009]一种面向微创术中辅助决策的体内三维信息测量系统，包括：
[0010]建模模块，用于根据指定的双目内窥镜图像帧的深度值，获取术中组织点云模型；
[0011]接收模块，用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域标注；
[0012]测量模块，用于根据所述术中组织点云模型和感兴趣区域标注，获取手术部位的三维信息的测量结果，其中所述三维信息至少包括感兴趣区域内的手术部位的真实长度、面积或体积。
[0013]优选的，所述建模模块用于：
[0014]采用深度估计算法估计指定的双目内窥镜图像帧上像素点的深度值，通过针孔相机模型计算像素点在相机坐标系下的空间坐标，其公式为：
[0015][0016][0017]z＝D
[0018]其中，D为像素点的深度估计值；x、y、z分别表示相机坐标系下的x坐标、y坐标、z坐标；c
x
,c
y
,f
x
,f
y
为双目相机中左目或者右目内窥镜的内参；
[0019]将所述指定的双目内窥镜图像帧转换成术中组织点云模型V
in
＝{v
in,a
|a＝1,2,
…
N1}，v
in,a
表示第a个像素点的空间坐标，模型共有N1个像素点。
[0020]优选的，所述三维信息为长度时：
[0021](1)线段长度
[0022]所述接收模块，用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域上标注的两点；
[0023]所述测量模块，用于：
[0024]连接标注的两点并在连接线上均匀取样，得到n个采样点；
[0025]对于在图像像素坐标系下的平面坐标为整数的采样点，根据所述术中组织点云模型，直接获取该部分采样点在相机坐标系下的空间坐标，否则，执行双线性插值操作，间接获取另一部分采样点在相机坐标系下的空间坐标；
[0026]将空间曲线近似为采样点之间的线段之和，获取二维的线段投射到三维空间的真实长度
[0027][0028]其中，表示两点及其连接线上所有采样点在相机坐标下的空间坐标集合；相机坐标下的空间坐标集合；分别表示线段line上的第a、a
‑
1个点在相机坐标下的空间坐标；
[0029]或(2)曲线段长度
[0030]所述接收模块，用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域上标注的曲线段；
[0031]所述测量模块，用于根据所述曲线段上所有像素点在图像像素坐标系下的平面坐标，以及所述术中组织点云模型，获取所述曲线段在相机坐标下的空间坐标集合；
[0032]根据所述曲线段在相机坐标下的空间坐标集合，获取二维的曲线段投射到三维空间的真实长度
[0033][0034]其中，表示所述曲线段上所有像素点在相机坐标下的空间坐标集合，m表示曲线段上的像素点总数；分别表示第a、a
‑
1个像素点在相机坐标下的空间坐标空间坐标。
[0035]优选的，所述双线性插值操作，具体是指：
[0036]定义像素坐标不为整数的采样点在图像像素坐标系下的平面坐标为
[0037]选取其最近四个整数像素点选取其最近四个整数像素点
[0038]根据所述术中组织点云模型V
in
，获取其对应的深度值分别为，获取其对应的深度值分别为
[0039]执行如下操作，获取像素坐标不为整数的采样点对应的深度值
[0040][0041]同理，获取像素坐标不为整数的采样点在相机坐标系下的和
[0042]优选的，所述三维信息为面积时：
[0043]所述接收模块，用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域上标注的闭合曲线；
[0044]所述测量模块，用于：
[0045]根据所述闭合曲线，将所述指定的双目内窥镜图像帧转化为带有边界的二值图，填充闭合曲线内的数值，提取填充区域内的像素点，完成提取所述闭合曲线围合区域中包含的n个像素块；并根据所述术中组织点云模型，获取各个像素块中像素点在相机坐标下的空间坐标；
[0046]获取单个像素块在相机坐标下的真实面积：
[0047]在图像像素坐标系下，沿x轴方向相邻两点
△
x
pixel
与沿y轴方向相邻两点
△
y
pixel
，获取像素块在物理成像平面上的投影面积S
pixel
′
；
[0048]S
pixel
′
＝
△
x
pixel
*
△
y
pixel
[0049]根据投影面积S
pixel
′
，获取像素块在相机坐标系下的真实面积
[0050][0051][0052]其中，像素块的两条对角线叉乘求得其法向量f
pixel
表示垂直于物理成像平面的向量；cosθ
i
表示与S
pixel
′
的夹角θ
i
的余弦值；
[0053]累加各个像素块的真实面积，获取封闭曲线围合区域的真实面积S
pixel
；
[0054][0055]优选的，所述三维信息为体积时：
[0056]所述接收模块，用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域上标注的待切除区域；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向微创术中辅助决策的体内三维信息测量系统，其特征在于，包括：建模模块，用于根据指定的双目内窥镜图像帧的深度值，获取术中组织点云模型；接收模块，用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域标注；测量模块，用于根据所述术中组织点云模型和感兴趣区域标注，获取手术部位的三维信息的测量结果，其中所述三维信息至少包括感兴趣区域内的手术部位的真实长度、面积或体积。2.如权利要求1所述的体内三维信息测量系统，其特征在于，所述建模模块用于：采用深度估计算法估计指定的双目内窥镜图像帧上像素点的深度值，通过针孔相机模型计算像素点在相机坐标系下的空间坐标，其公式为：型计算像素点在相机坐标系下的空间坐标，其公式为：z＝D其中，D为像素点的深度估计值；x、y、z分别表示相机坐标系下的x坐标、y坐标、z坐标；c
x
,c
y
,f
x
,f
y
为双目内窥镜中左目或者右目内窥镜与相机内参矩阵中对应的参数；将所述指定的双目内窥镜图像帧转换成术中组织点云模型V
in
＝{v
in，a
|a＝1，2，
…
N1}，v
in，a
表示第a个像素点的空间坐标，模型共有N1个像素点。3.如权利要求1所述的体内三维信息测量系统，其特征在于，所述三维信息为长度时：(1)线段长度所述接收模块，用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域上标注的两点；所述测量模块，用于：连接标注的两点并在连接线上均匀取样，得到n个采样点；对于在图像像素坐标系下的平面坐标为整数的采样点，根据所述术中组织点云模型，直接获取该部分采样点在相机坐标系下的空间坐标，否则，执行双线性插值操作，间接获取另一部分采样点在相机坐标系下的空间坐标；将空间曲线近似为采样点之间的线段之和，获取二维的线段投射到三维空间的真实长度度其中，表示两点及其连接线上所有采样点在相机
坐标下的空间坐标集合；坐标下的空间坐标集合；分别表示线段line上的第a、a
‑
1个点在相机坐标下的空间坐标；或(2)曲线段长度所述接收模块，用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域上标注的曲线段；所述测量模块，用于根据所述曲线段上所有像素点在图像像素坐标系下的平面坐标，以及所述术中组织点云模型，获取所述曲线段在相机坐标下的空间坐标集合；根据所述曲线段在相机坐标下的空间坐标集合，获取二维的曲线段投射到三维空间的真实长度真实长度其中，表示所述曲线段上所有像素点在相机坐标下的空间坐标集合，m表示曲线段上的像素点总数；分别表示第a、a
‑
1个像素点在相机坐标下的空间坐标空间坐标。4.如权利要求3所述的体内三维信息测量系统，其特征在于，所述双线性插值操作，具体是指：定义像素坐标不为整数的采样点在图像像素坐标系下的平面坐标为选取其最近四个整数像素点选取其最近四个整数像素点根据所述术中组织点云模型V
in
，获取其对应的深度值分别为，获取其对应的深度值分别为执行如下操作，获取像素坐标不为整数的采样点对应的深度值
同理，获取像素坐标不为整数的采样点在相机坐标系下的和5.如权利要求1所述的体内三维信息测量系统，其特征在于，所述三维信息为面积时：所述接收模块，用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域上标注的闭合曲线；所述测量模块，用于：根据所述闭合曲线，将所...

【专利技术属性】
技术研发人员：杨善林，李霄剑，曲仪，莫杭杰，李玲，欧阳波，屈炎伟，张林，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：