基于深度学习的主从控制方法及应用技术

根据现有方案存在的问题，本发明专利技术提出了一种基于深度学习的主从控制方法及应用，在确立执行单元的运动坐标系后，建立主从映射关系，利用主从映射关系来描述所述执行单元对应的主从手的运动学正逆运算，构建主从异构型模型；在主从关系下进行目标的实时跟踪，得到跟踪结果数据，最后通过卷积神经网络进行深度学习，完成所述执行单元的控制过程。本发明专利技术能够便于操作者在主从控制模式下根据目标跟踪算法的辅助，提升柔性机器手的操控精度，便于在复杂且狭窄的手术空间中进行手术，从而降低手术风险，缓解医生压力。缓解医生压力。缓解医生压力。

【技术实现步骤摘要】
基于深度学习的主从控制方法及应用


[0001]本专利技术涉及深度学习
，特别涉及一种目标跟踪算法(GOTURN) 及应用。

技术介绍

[0002]目前，手术机器人渗透到手术计划、微创定位、无创治疗的各个环节。利用手术机器人进行的手术能大幅度减少术后病人因创伤过大而带来的疼痛感、便于伤口康复以及减少术后并发症，世界上大部分发达国家都已经有比较成熟的医疗遥控操作系统，这些较为先进的手术机器人提供了直观的视觉反馈和方便的操作方式使得医疗手术机器人的发展进入了一个具有划时代意义的快速发展期，但在实际手术过程中需要避开某些重要器官组织或者血管，这对机械手的灵活性有一定的要求。Da Vinci手术机器人为目前的现有方案，其主要原理是让医生通过操纵手术操作台(主手)，控制机械臂(从手)进入人体内完成复杂的手术操作。该现有方案的优点如下：
[0003]完美将开放式手术跟微创手术的优点结合起来，让医生能完成复杂的大型手术，
[0004]灵活、快速的手术机械臂可以根据医生的操作快速响应，帮助医生轻松完成各种复杂的手术动作。
[0005]高精度、稳定的手术机械臂可以保证手术的精确性和安全性，通过相应的算法还可以消除医生手的抖动，防止出现误动作。高性能的手术机械臂可以让手术变得更方便、轻松。
[0006]但是，Da Vinci手术机器人还存在某些不可忽视的缺点，当需要避开器官或者在狭小空间(如口腔)进行手术时，机械手仍然存在远端准确度不足的问题。

技术实现思路

[0007]根据现有方案存在的问题，本专利技术提出了一种基于深度学习的主从控制方法及应用，利用基于离线学习的GOTURN算法来辅助手术机器人，便于操作者在主从控制模式下根据目标跟踪算法的辅助，准确地操控柔性机器手在复杂且狭窄的手术空间中进行手术，从而降低手术风险，缓解医生压力。
[0008]本专利技术的技术方案是：
[0009]一种基于深度学习的主从控制方法，包括：
[0010]确立执行单元的运动坐标系；
[0011]建立主从映射关系，通过主从映射关系来描述所述执行单元对应的主从手的运动学正逆运算，构建主从异构型模型；
[0012]在主从关系下进行目标的实时跟踪，得到跟踪结果数据；
[0013]通过卷积神经网络进行深度学习，完成所述执行单元的控制过程。
[0014]所述“建立主从映射关系，通过主从映射关系来描述所述执行单元对应的主从手的运动学正逆运算，构建主从异构型模型”，包括：
[0015]从笛卡尔空间坐标系中建立映射关系来描述所述主从手的运动学正逆运算，运用
逆雅可比矩阵进行求解；
[0016]主手末端的速度：ΔX＝J(θ)
·
Δθ；
[0017]从手末端的速度：Δθ＝J(θ)
‑1·
ΔX；
[0018]其中，为关节角速度矢量，J(θ)∈R6×6为雅克比矩阵，为末端速度矢量。
[0019]所述“在主从关系下进行目标的实时跟踪，得到跟踪结果数据”，包括：
[0020]利用GOTURN算法进行目标的实时跟踪的步骤。
[0021]所述“通过卷积神经网络进行深度学习”，包括：
[0022]卷积层在ImageNet上预先训练，用1e
‑
5的学习率训练该网络，其他超参数则取自CaffeNet的默认值；
[0023]每个训练示例会交替地取自于训练集，并利用GOTURN算法进行视频裁剪。
[0024]所述“确立执行单元的运动坐标系”与所述“建立主从映射关系，通过主从映射关系来描述所述执行单元对应的主从手的运动学正逆运算，构建主从异构型模型”之间，包括：柔性测试步骤：
[0025]同时驱动所述执行单元的一端进行弯曲运动来进行柔性测试，该连接端定义为远端；
[0026]确定r,L,θ,δ,d分别为线与中心轴的距离，柔性关节的长度，沿y方向的旋转角，沿z方向的旋转角，以及远端在平面x
b
Oy
b
中的位置投影；
[0027]位置投影可由下式计算：
[0028][0029]其中，d
x
,d
y
分别表示x、y轴上的位置投影，d
x
,d
y
能在手术过程中测量，柔性关节远端的姿态公式为：
[0030][0031]将夹爪连接在所述远端，夹爪尖端的坐标为：
[0032][0033]其中，s代表刚性杆和加工弹簧之间的连接长度，Lg代表夹爪的长度；当s＝0时，所述执行单元被视为可弯曲接头。
[0034]所述“柔性测试步骤”后，包括：性能测试步骤：
[0035]配置提供旋转动力的驱动装置，与所述执行单元连接；
[0036]确保所述执行单元为弯曲状态，同时在所述夹持器的远端加载拉伸力，对所述执行单元进行性能测试。
[0037]所述“在主从关系下进行目标的实时跟踪，得到跟踪结果数据”中，包括：跟踪效果的平滑化步骤：
[0038]首先将当前帧(c'
x
,c'
y
)中边界框的中心相对于前一帧(c
x
,c
y
)中边界框的中心进行建模：
[0039]c'
x
＝c
x
+w
·
Δx
[0040]c'
y
＝c
y
+h
·
Δy
[0041]其中w和h分别是前一帧的边界框的宽度和高度；Δx和y是随机变量；
[0042]同样，通过下式模拟尺寸变化：
[0043]w'＝w
·
γ
w
[0044]h'＝h
·
γ
h
[0045]其中w'和h'是边界框的当前宽度和高度，w和h是边界框的先前的宽度和高度，γ
w
和γ
h
随机变量；
[0046]在训练集中，利用平均值为1的γ
w
和γ
h
来进行拉普拉斯分布建模，并运用所述拉普拉斯分布中提取的随机目标来扩充训练集；
[0047]所述拉普拉斯分布的比例参数为：
[0048]对于边界框中心的运动：对于边界框大小的变化：
[0049]所述“通过卷积神经网络进行深度学习”后，包括：利用PD环节来消除不断积累的主从跟随误差和消除医生手部抖动的步骤；
[0050]在“利用PD环节来消除不断积累的主从跟随误差”中：
[0051]调控规律为：
[0052][0053]其中分别表示主、从手末端执行器位姿速度，X
m
,X
s
分别表示主、从手末端执行器位姿，同时k
p
和k
d
分别代表比例参数和微分参数；
[0054]在“消除医生手部抖动”中，将对主本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习的主从控制方法，其特征在于，包括：确立执行单元的运动坐标系；建立主从映射关系，通过主从映射关系来描述所述执行单元对应的主从手的运动学正逆运算，构建主从异构型模型；在主从关系下进行目标的实时跟踪，得到跟踪结果数据；通过卷积神经网络进行深度学习，完成所述执行单元的控制过程。2.根据权利要求1所述的基于深度学习的主从控制方法，其特征在于，所述“建立主从映射关系，通过主从映射关系来描述所述执行单元对应的主从手的运动学正逆运算，构建主从异构型模型”，包括：从笛卡尔空间坐标系中建立映射关系来描述所述主从手的运动学正逆运算，运用逆雅可比矩阵进行求解；主手末端的速度：ΔX＝J(θ)
·
Δθ；从手末端的速度：Δθ＝J(θ)
‑1·
ΔX；其中，为关节角速度矢量，J(θ)∈R6×6为雅克比矩阵，为末端速度矢量。3.根据权利要求1所述的基于深度学习的主从控制方法，其特征在于，所述“在主从关系下进行目标的实时跟踪，得到跟踪结果数据”，包括：利用GOTURN算法进行目标的实时跟踪的步骤。4.根据权利要求1所述的基于深度学习的主从控制方法，其特征在于，所述“通过卷积神经网络进行深度学习”，包括：卷积层在ImageNet上预先训练，用1e
‑
5的学习率训练该网络，其他超参数则取自CaffeNet的默认值；每个训练示例会交替地取自于训练集，并利用GOTURN算法进行视频裁剪。5.根据权利要求4所述的基于深度学习的主从控制方法，其特征在于，包括：还需要对当前帧进行随机裁剪，用额外的例子来扩充数据集。6.根据权利要求1所述的基于深度学习的主从控制方法，其特征在于，所述“确立执行单元的运动坐标系”与所述“建立主从映射关系，通过主从映射关系来描述所述执行单元对应的主从手的运动学正逆运算，构建主从异构型模型”之间，包括：柔性测试步骤：同时驱动所述执行单元的一端进行弯曲运动来进行柔性测试，该连接端定义为远端；确定r,L,θ,δ,d分别为线与中心轴的距离，柔性关节的长度，沿y方向的旋转角，沿z方向的旋转角，以及远端在平面x
b
Oy
b
中的位置投影；位置投影可由下式计算：其中，d
x
,d
y
分别表示x、y轴上的位置投影，d
x
,d
y
能在手术过程中测量，柔性关节远端的姿态公式为：
将夹爪连接在所述远端，夹爪尖端的坐标为：其中，s代表刚性杆和加工弹簧之间的连接长度，Lg代表夹爪的长度；当s＝0时，所述执行单...

【专利技术属性】
技术研发人员：周扬，何燕，蔡述庭，郭靖，熊晓明，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：