【技术实现步骤摘要】
本专利技术涉及计算机视觉领域，特别涉及一种用于腔镜视野下手术机器人器械的语义分割与位姿估计方法及系统。
技术介绍
1、腔镜微创手术已经成为现代外科领域的重要方向之一，相比于传统开腹手术，腔镜微创手术具有创伤小、患者恢复快、术后并发症少的优点。在腔镜微创手术中，手术器械的精确操作对手术效果至关重要。术中准确分割出手术器械掩膜，估计和跟踪手术器械腕部、杆部的空间位置和姿态，及末端夹具的开合角度，可以为医生提供有力支持，提升手术的精确度、安全性和效率，也能为手术过程中的姿态矫正与辅助决策提供有力支持。
2、语义分割是一种图像处理技术，其目标是将图像中的每个像素分类到不同的语义类别，识别不同种类的器械，及生物体组织等。其与传统的图像分割技术相比，优势在于可以更好地使计算机识别和理解图像中的内容，分割结果更精准，算法运行速度更快。目前，腔镜手术机器人器械的语义分割算法主要以卷积神经网络或视觉transformer网络作为主体结构，准确率尚可。
3、目前，手术器械位姿估计主要有以下两类方法：基于特征点的方法通过提取和匹配图像中的关键点来估计位姿，但在手术场景复杂的情况下，特征点的提取和匹配容易出错；基于模板匹配的方法需要预先建立器械的三维模型库，实时性和泛化性较差。然而，现有方法得误差率较大，或实时性及泛化性较差，且较少考虑时序信息的约束作用。现有专利文献cn118236166a公开了一种手术器械的自动跟踪系统及方法，其包括：机械臂；视觉传感单元，设置在所述机械臂的末端，用于获取图像数据；上位机，与所述视觉传感单元连
4、此外，在实际应用中，手术器械的位姿反馈系统通常依赖于机械结构中的各类传感器，如关节编码器、力传感器等。然而，由于机械传动结构的迟滞特性、塑性形变、回程差等问题，及器械因刚度不足所产生的弹性形变无法完全通过传感器准确反馈的问题，单纯依靠传感器的位姿反馈往往存在延迟与误差，难以满足精确手术操作的需求。
5、因此说，提升腔镜机器人手术的控制精度与安全性亟需解决。
技术实现思路
1、本专利技术要解决的技术问题是：
2、本专利技术为了解决现有的手术机器人器械的语义分割与位姿估计方法存在误差率较大，实时性及泛化性较差，且较少考虑时序信息的约束作用，难以满足精确手术操作的需求等问题，进而提供了一种腔镜图像下手术机器人器械的语义分割与位姿估计方法及系统。
3、本专利技术为解决上述技术问题所采用的技术方案为：
4、腔镜图像下手术机器人器械的语义分割与位姿估计方法，所述方法的实现过程为：
5、基于编码器-解码器架构，建立单编码器-双解码器的手术机器人器械位姿估计模型，包括骨干网络、特征编码器(特征编码模块)、语义分割解码器、位姿估计解码器及其数据缓存队列与时间序列模块；
6、骨干网络用于提取内窥镜原始图像的多尺度信息，特征编码器从骨干网络中提取的特征中聚合出经过编码的特征，包含图像在不同抽象级别的图像局部特征信息；
7、语义分割解码器用于从图像特征图中生成分割图像，分割图像为位姿估计解码器提供隐式几何约束；
8、位姿估计解码器基于语义分割结果提供的几何约束，从特征图中回归出手术器械的腕部、杆部相对摄像机的位置和姿态参数，及器械末端的开合角度；
9、使用时间序列模块，构建时序数据缓存队列用于连续帧分析，降低帧间抖动，提高位姿估计与末端开合角度估计算法的精度。
10、进一步地，所述骨干网络通过串联mist块与patch嵌入进行提取特征，骨干网络采用基于mist块(mixed swin-transformer)的网络抽取目标多尺度特征，特征图尺寸依次为h/4×w/4、h/8×w/8、h/16×w/16、h/32×w/32；每个提取阶段包含patch(补丁)嵌入和mistblock，用于特征提取和转换，具体为：
11、(1)其中，mist块以swin-transformer为主，在swin-transformer-t模块前使用归一化，输入到swin-transformer-t中做注意力操作，其输出与输入mist块的特征进行拼接，拼接后作为mist块的输出；
12、(2)对于所述patchembedding补丁嵌入，首个嵌入补丁采用5x5卷积核、步长为4的patch嵌入提取1/4尺寸的特征，后续嵌入补丁采用3x3卷积核、步长为2的patch嵌入，分别提取到1/8，1/16，1/32尺寸的特征；
13、(3)在骨干网络中，patch嵌入模块与ni(i＝1～4)个mist块串联，输入的图像经过patch嵌入和n1个mist块，得到特征1的矩阵，其维度是h/4x w/4x c1，特征2经过patch嵌入和n2个mist块，得到特征2矩阵，以此类推；ci(i＝1～4)的值代表特征的丰富程度，c1～c4取32,64,128,256，n1～n4取2,2,2,2；特征1～特征4为图像中所包含的低级至高级的特征信息，低级特征包括例如纹理、边缘等信息，高级特征包括例如经过抽象的语义级别信息。
14、进一步地，语义分割解码器为：将编码器中聚合的特征经过一个mlp映射，输出为语义分割的结果，语义分割结果为位姿估计解码器提供约束；位姿估计解码器为：为获取手术器械的位姿，位姿估计解码器使用三个串联的mlp块，接受聚合的特征与语义分割结果的输入，得到对当前帧下器械位姿的估计缓存，写入到位姿估计解码器的数据缓存队列；时间序列模块使用xlstm网络，兼顾长期与短期的精度；时间序列模块从位姿估计解码器中获取时序缓存，输出器械杆部、腕部的位姿参数及末端夹具开合角度；器械杆部、腕部分别有6自由度，用x,y,z,pitch,yaw,roll表示，其中：x,y,z表示杆部或腕部的坐标系，相对于相机坐标系的位移；pitch,yaw,roll表示杆部或腕部的坐标系，相对于相机坐标系的旋转角度。
15、进一步地，针对单编码器-双解码器的手术机器人器械位姿估计模型，其训练与环境设置如下：
16、(1)优化器与学习率调度：使用adamw优化器，默认学习率设置为2e-4；学习率调度情况如下：训练的前四分之一阶段，将编码器的学习率从默认值的1/8逐渐提高到1/4，训练的后四分之三阶段，将编码器的学习率从默认值的1/4逐渐降低到1/16；解码器学习率保持为默认学习率的1倍，直到训练的最后四分之一阶段，两个解码器的学习率降低为默认学习率的1/3；
17、(2)数据集数据增强：基于mmseg库进行数据增强，做如下串联：概率为0.5的随机本文档来自技高网...
【技术保护点】
1.腔镜图像下手术机器人器械的语义分割与位姿估计方法，其特征在于，所述方法的实现过程为：
2.根据权利要求1所述的腔镜图像下手术机器人器械的语义分割与位姿估计方法，其特征在于，
3.根据权利要求1或2所述的腔镜图像下手术机器人器械的语义分割与位姿估计方法，其特征在于，
4.根据权利要求3所述的腔镜图像下手术机器人器械的语义分割与位姿估计方法，其特征在于，针对单编码器-双解码器的手术机器人器械位姿估计模型，其训练与环境设置如下：
5.根据权利要求4所述的腔镜图像下手术机器人器械的语义分割与位姿估计方法，其特征在于，将语义分割解码器输出的语义分割预测图像与原始图像的标签图像通过设计的损失函数进行比对，损失函数的值用来衡量二者的差异。
6.根据权利要求5所述的腔镜图像下手术机器人器械的语义分割与位姿估计方法，其特征在于，
7.腔镜图像下手术机器人器械的语义分割与位姿估计系统，其特征在于：该系统具有与所述权利要求1-6任一项权利要求的步骤对应的程序模块，运行时执行所述的腔镜图像下手术机器人器械的语义分割与位姿估计方法
8.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现权利要求1-6中任一项所述的腔镜图像下手术机器人器械的语义分割与位姿估计方法的步骤。
...【技术特征摘要】
1.腔镜图像下手术机器人器械的语义分割与位姿估计方法，其特征在于，所述方法的实现过程为：
2.根据权利要求1所述的腔镜图像下手术机器人器械的语义分割与位姿估计方法，其特征在于，
3.根据权利要求1或2所述的腔镜图像下手术机器人器械的语义分割与位姿估计方法，其特征在于，
4.根据权利要求3所述的腔镜图像下手术机器人器械的语义分割与位姿估计方法，其特征在于，针对单编码器-双解码器的手术机器人器械位姿估计模型，其训练与环境设置如下：
5.根据权利要求4所述的腔镜图像下手术机器人器械的语义分割与位姿估计方法，其特征在于，将语义分割解码器输出的语义分割预测图像与原始...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。