一种基于视线追踪的腹腔镜自动扶镜方法及设备技术

本发明专利技术属于扶镜控制技术领域，并具体公开了一种基于视线追踪的腹腔镜自动扶镜方法及设备。包括：估计腹腔镜手术器械标记的三维位置；采集手术场景中主刀医生的视线信息，获取不同视线特征所对应的手术操作类型的SVM模型；构建评价腹腔镜视场的评价函数；选择实时视线信息与该手术操作类型相对应的评价函数；以评价函数作为优化目标，基于器械三维位置及其在二维图像的投影关系以及RCM约束，构建腹腔镜目标位姿的优化模型；将腹腔镜位姿的最优解转换为期望的机械臂运动，以实现机械臂的自动扶镜。本发明专利技术利用了医生注视点位置信息，更加准确、直接地理解主刀医生的意图，配合主刀医生的操作调整腹腔镜位姿，实现完全自动的扶镜运动。镜运动。镜运动。

【技术实现步骤摘要】
一种基于视线追踪的腹腔镜自动扶镜方法及设备


[0001]本专利技术属于扶镜控制
，更具体地，涉及一种基于视线追踪的腹腔镜自动扶镜方法及设备。

技术介绍

[0002]微创手术相较于传统的开放式手术，具有创口小、恢复快、不易感染等优点，在各类手术中都有着广泛的应用。但由于微创手术是通过患者体表几个极小的切口将手术器械及腹腔镜伸入患者体内进行手术的，医生无法直接看到患处的情况，因此医生非常依赖腹腔镜传回的图像信息。在手术过程中需要有专人进行腹腔镜扶镜，配合主刀医生的操作来调整腹腔镜的位置和角度，以提供高质量的图像信息，使主刀医生能够清楚了解手术情况。但这种人工扶镜的方式存在以下几点问题：(1)手术从始至终都需要专人扶镜，对扶镜助手造成较高的身体负担；(2)扶镜助手要了解主刀医生的意图，需要长时间的磨合和训练；(3)人手的抖动会使腹腔镜图像模糊；(4)主刀医生下达扶镜指令会增加精神负担，影响手术操作的流畅性。
[0003]现有的借助机器人扶镜的方案，如Davinci手术机器人等，能够增强腹腔镜图像的稳定性，避免上述人手抖动的问题。但是它们都需要主刀医生或助手对其进行人为的操控。通常需要主刀医生中断手术操作，通过脚踩踏板控制腹腔镜运动。这无疑会大大增加主刀医生的工作量，并且影响手术操作的连贯性，并且会提高误操作的风险。
[0004]基于上述缺陷和不足，本领域亟需提出一种基于视线追踪的腹腔镜自动扶镜方法及设备，结合腔镜图像和眼动仪信息来理解主刀医生意图，使腹腔镜能够提供稳定、适当的视野。
专利技术内容
[0005]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于视线追踪的腹腔镜自动扶镜方法及设备，其中结合腹腔镜手术自身的特征及其机器人扶镜工艺特点，相应设计了一种基于视线追踪的腹腔镜自动扶镜方法，通过估计腹腔镜手术器械标记的三维位置，采集手术场景中主刀医生的视线信息，构建并训练获取不同视线特征所对应的手术操作类型的SVM模型，采集注视点与手术器械在腹腔镜图像中的分布规律图，并结合权重系数得到评价腹腔镜视场的评价函数，实时采集主刀医生的视线信息，并采用所述SVM模型判断手术操作类型，选择与该手术操作类型相对应的评价函数，以评价函数作为优化目标，基于器械三维位置及其在二维图像的投影关系，同时考虑腹腔镜的RCM约束，构建腹腔镜目标位姿的优化模型，并获取腹腔镜位姿的最优解，将腹腔镜位姿的最优解转换为期望的机械臂运动，以实现机械臂的自动扶镜。相应的通过机械臂进行完全自主的全自动扶镜，结合腔镜图像和眼动仪信息来理解主刀医生意图，使腹腔镜能够提供稳定、适当的视野。从而解决了现有技术中人工扶镜工作量大、扶镜医生需要了解主刀医生意图的主观性强、连贯性差、稳定性不好等问题。
[0006]为实现上述目的，按照本专利技术的一个方面，提出了一种基于视线追踪的腹腔镜自动扶镜方法，包括以下步骤：
[0007]S1估计腹腔镜手术器械标记的三维位置；
[0008]S2采集手术场景中主刀医生的视线信息，构建并训练获取不同视线特征所对应的手术操作类型的SVM模型；
[0009]S3采集注视点与手术器械在腹腔镜图像中的分布规律图，并结合权重系数得到评价腹腔镜视场的评价函数；
[0010]S4实时采集主刀医生的视线信息，并采用所述SVM模型判断手术操作类型，选择与该手术操作类型相对应的评价函数；
[0011]S5以步骤S4中获取的评价函数作为优化目标，基于器械三维位置及其在二维图像的投影关系，同时考虑腹腔镜的RCM约束，构建腹腔镜目标位姿的优化模型，并获取腹腔镜位姿的最优解；
[0012]S6将腹腔镜位姿的最优解转换为期望的机械臂运动，以实现机械臂的自动扶镜。
[0013]作为进一步优选的，所述步骤S1还包括：
[0014]对连接于机械臂的腹腔镜相机进行标定，将动捕系统的标定球与微创手术使用的套管针连接，并对动捕相机进行校准，使其能够准确测量出套管针在世界坐标系下的位姿，然后通过动捕系统测得套管针位姿，根据套管针位姿和腹腔镜位姿估计腹腔镜手术器械标记的三维位置。
[0015]作为进一步优选的，所述步骤S2具体包括：
[0016]S21采集手术过程中主刀医生的视线信息；
[0017]S22根据视线视点移动速度，剔除瞥视过程的视线信息；
[0018]S23对保留的视线信息对应的手术操作类型进行标记；
[0019]S24将视线信息作为输入，手术操作类型作为输出，训练获取不同视线特征所对应的手术操作类型的SVM模型。
[0020]作为进一步优选的，所述步骤S3具体包括：
[0021]S31将腹腔镜手术视频及录制的视线信息按照手术操作类型分类；
[0022]S32将手术视频进行语义分割，识别手术器械末端；
[0023]S33对手术过程中所有的图像进行上述处理和叠加，获取视点和手术器械在二维图像上的分布规律；
[0024]S34采用高斯分布对视点及左右手术器械分布规律进行拟合，得到高斯分布的参数，结合权重系数得到评价腹腔镜视场的评价函数。
[0025]作为进一步优选的，步骤S34中，所述评价函数包括：
[0026][0027]其中，ω
e
、ω
ti
分别为视点和不同手术器械的权重，G
e
、G
ti
分别为视点和手术器械统计得到的高斯分布，s
e
、s
ti
分别为视点及手术器械尖端的位置。
[0028]作为进一步优选的，步骤S5中，腹腔镜目标位姿的优化模型包括：
[0029][0030]s.t.h(S
i
,s
i
，x)＝0
[0031][0032]式中，h(S
i
,s
i
,x)为器械末端的三维坐标与二维图像坐标的投影关系，S
i
为器械末端的三维坐标，在优化过程中为常量，s
i
为器械末端在二维图像中的坐标；D为腹腔镜满足RCM约束下的可达区域；x为腹腔镜的自由度变量。
[0033]作为进一步优选的，所述将腹腔镜位姿的最优解转换为期望的机械臂运动包括：
[0034]获取评价函数最优值与当前评价函数值的差值，当该差值小于运动阈值时，机械臂保持静止，腹腔镜视场保持稳定，否则，当前的腹腔镜视场已经不能满足主刀医生的需求，控制机械臂调整腹腔镜位姿，此时，根据腹腔镜位姿的最优解计算机械臂期望运动速度，同时确保运动过程中腹腔镜位姿始终满足RCM约束。
[0035]按照本专利技术的另一个方面，还提供了一种基于视线追踪的腹腔镜自动扶镜系统，包括：
[0036]第一主控模块，用于估计腹腔镜手术器械标记的三维位置；
[0037]第二主控模块，用于采集手术场景中主刀医生的视线信息，构建并训练获取不同视线特征所对应的手术操作类型的SVM模型；
[0038]第三主控模块，用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视线追踪的腹腔镜自动扶镜方法，其特征在于，包括以下步骤：S1估计腹腔镜手术器械标记的三维位置；S2采集手术场景中主刀医生的视线信息，构建并训练获取不同视线特征所对应的手术操作类型的SVM模型；S3采集注视点与手术器械在腹腔镜图像中的分布规律图，并结合权重系数得到评价腹腔镜视场的评价函数；S4实时采集主刀医生的视线信息，并采用所述SVM模型判断手术操作类型，选择与该手术操作类型相对应的评价函数；S5以步骤S4中获取的评价函数作为优化目标，基于器械三维位置及其在二维图像的投影关系，同时考虑腹腔镜的RCM约束，构建腹腔镜目标位姿的优化模型，并获取腹腔镜位姿的最优解；S6将腹腔镜位姿的最优解转换为期望的机械臂运动，以实现机械臂的自动扶镜。2.根据权利要求1所述的一种基于视线追踪的腹腔镜自动扶镜方法，其特征在于，所述步骤S1还包括：对连接于机械臂的腹腔镜相机进行标定，将动捕系统的标定球与微创手术使用的套管针连接，并对动捕相机进行校准，使其能够准确测量出套管针在世界坐标系下的位姿，然后通过动捕系统测得套管针位姿，根据套管针位姿和腹腔镜位姿估计腹腔镜手术器械标记的三维位置。3.根据权利要求1所述的一种基于视线追踪的腹腔镜自动扶镜方法，其特征在于，所述步骤S2具体包括：S21采集手术过程中主刀医生的视线信息；S22根据视线视点移动速度，剔除瞥视过程的视线信息；S23对保留的视线信息对应的手术操作类型进行标记；S24将视线信息作为输入，手术操作类型作为输出，训练获取不同视线特征所对应的手术操作类型的SVM模型。4.根据权利要求1所述的一种基于视线追踪的腹腔镜自动扶镜方法，其特征在于，所述步骤S3具体包括：S31将腹腔镜手术视频及录制的视线信息按照手术操作类型分类；S32将手术视频进行语义分割，识别手术器械末端；S33对手术过程中所有的图像进行上述处理和叠加，获取视点和手术器械在二维图像上的分布规律；S34采用高斯分布对视点及左右手术器械分布规律进行拟合，得到高斯分布的参数，结合权重系数得到评价腹腔镜视场的评价函数。5.根据权利要求1所述的一种基于视线追踪的腹腔镜自动扶镜方法，其特征在于，步骤S34中，所述评价函数包括：其中，ω
e
、ω
ti
分别为视点和不同手术器械的权重，G
e
、G
ti
分别为视点和手术器械统计得到的高斯分布，s
e
、s
ti
...

【专利技术属性】
技术研发人员：赵欢，汪一苇，蔡雄，王宇恒，辜嘉宇，杨司航，万赤丹，丁汉，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：