利用增强现实技术的手术机器人系统及其控制方法技术方案

本发明专利技术公开了一种利用增强现实技术的手术机器人系统及其控制方法。一种主机器人，利用操作信号控制具有机器臂的从机器人，其特征在于，包括：存储单元；增强现实技术实现部，将用于利用三维建模图像进行虚拟手术的连续的使用者操作履历，作为手术动作履历信息存储在所述存储单元中；以及操作信号生成部，输入应用命令后，将利用所述手术动作履历信息生成的操作信号传送给所述从机器人。

An operation robot system and its control method using augmented reality technology

The invention discloses an operation robot system and a control method using augmented reality technology. A robot control with robotic arm operation using signals from the robot, which is characterized in that includes a storage unit; the implementation of augmented reality technology, will be used by the three-dimensional modeling of the virtual surgery image continuous operation of user experience, as a surgical operation history information stored in the storage unit; and the operation signal generation Department of applied input command, will use the operation signal transmitted by the operation history information generated from the robot to the.

【技术实现步骤摘要】
利用增强现实技术的手术机器人系统及其控制方法本案是分案申请，其母案为优先权日为2009年3月24日的申请号为201510802654.0的题为“利用增强现实技术的手术机器人系统及其控制方法”的专利申请。
本专利技术涉及一种手术，更具体地说，涉及一种利用增强现实技术或履历信息的手术机器人系统及其控制方法。
技术介绍
手术机器人是指具有能够代替外科医生实施手术行为功能的机器人。这样的手术机器人与人相比能够进行准确而精密的动作，具有可进行远程手术的优点。目前，世界上正在开发的手术机器人有骨外科手术机器人、腹腔镜(laparoscope)手术机器人、立体定向手术机器人等。在此，腹腔镜手术机器人是利用腹腔镜和小型手术器械实施微创手术的机器人。腹腔镜手术是在肚脐部位穿设1cm左右的孔并将作为窥视腹腔内的内窥镜的腹腔镜插入后进行手术的尖端手术技术，是未来有望进一步发展的领域。最近腹腔镜上安装有电脑芯片，所以能够获得比肉眼更加清晰且被放大的图像，而且，已发展到通过显示器看着画面且使用特别设计的腹腔镜用手术器械能够进行任何手术的程度。此外，腹腔镜手术的其手术范围与剖腹手术大致相同，但与剖腹手术相比并发症少，并且手术后可以在较短时间内开始治疗，具有突出的保持手术患者体力或免疫功能的优势。因此，在美国或欧洲等地，腹腔镜手术在治疗大肠癌等方面逐渐被认定为标准手术。手术机器人系统一般由主机器人和从机器人构成。当施术者操作安装在主机器人上的操纵器(例如手柄)时，与从机器人的机器臂结合或被机器臂把持的手术器械进行操作，从而执行手术。主机器人和从机器人通过网络结合，并进行网络通信。此时，如果网络通信速度不够快的话，从主机器人传送的操作信号被从机器人接收或/及从从机器人上安装的腹腔镜摄像机传送的腹腔镜图像被主机器人接收所需时间较长。已知一般相互间的网络通信速度在150ms以内时才能够进行利用主机器人及从机器人的手术。如果通信速度延迟其以上时，施术者手的动作与通过画面看到的从机器人的动作不一致，施术者会感到很不舒服。此外，当主机器人和从机器人之间的网络信息速度慢时，施术者需要识别或提前预测画面上看到的从机器人的动作而进行手术。这是引起不自然动作的原因，严重时无法进行正常手术。此外，以往的手术机器人系统具有如下局限性，施术者在对手术患者进行手术的时间内必须保持高度集中力的状态下操作主机器人所具备的操纵器。这样，给施术者带来严重的疲劳感，而由于集中力下降引起的不完整手术可能对手术患者造成严重的后遗症。
技术实现思路
技术课题本专利技术目的在于，提供一种利用增强现实技术的手术机器人系统及其控制方法，利用增强现实技术(augmentedreality)将实际手术器械和虚拟手术器械一同显示，从而能够使施术者顺利进行手术。此外，本专利技术目的在于提供一种利用增强现实技术的手术机器人系统及其控制方法，手术时增强现实技术能够输出多种有关患者的信息。此外，本专利技术目的在于，提供一种利用增强现实技术的手术机器人系统及其控制方法，根据主机器人和从机器人之间的网络通信速度，使手术画面显示方法多样化，从而能够使施术者顺利进行手术。此外，本专利技术目的在于，提供一种利用增强现实技术的手术机器人系统及其控制方法，能够对通过内窥镜等输入的图像进行自动化处理，从而将紧急状况即时通知给施术者。此外，本专利技术目的在于，提供一种利用增强现实技术的手术机器人系统及其控制方法，能够让施术者实时感知通过主机器人操作使虚拟手术器械移动等引起的脏器接触等，从而能够直观地认识虚拟手术器械与脏器之间的位置关系。此外，本专利技术目的在于，提供一种利用增强现实技术的手术机器人系统及其控制方法，能够实时提供有关手术部位的患者图像数据(例如，CT图像、MRI图像等)，从而可进行利用了多种信息的手术。此外，本专利技术目的在于，提供一种利用增强现实技术的手术机器人系统及其控制方法，能够使手术机器人系统在学习者(learner)和教学者(trainer)之间实现兼容及共享，从而能够使实时教育效果最大化。此外，本专利技术目的在于，提供一种利用增强现实技术的手术机器人系统及其控制方法，能够使用三维建模的虚拟脏器事先预测实际手术过程的经过及结果。此外，本专利技术目的在于，提供一种利用履历信息的手术机器人系统及其控制方法，可利用使用虚拟脏器等进行的虚拟手术的履历信息，进行全部或部分自动手术，从而降低施术者的疲劳，以便在手术时间内保持可正常进行手术的集中力。此外，本专利技术目的在于，提供一种利用履历信息的手术机器人系统及其控制方法，当在进行自动手术的过程中发生与虚拟手术进行过程不同或紧急状况时，能够通过施术者的手动手术迅速对应。除了本专利技术提出之外的其它技术课题可以通过下面的说明容易理解。课题解决方法根据本专利技术的一实施例，提供一种利用增强现实技术的手术机器人系统、从机器人及主机器人。根据本专利技术的一实施例，提供一种手术用机器人的主接口，该接口(interface)安装在用于对包括一个以上机器臂的从(slave)机器人进行控制的主(master)机器人上，该主接口包括：画面显示部，用于显示与由手术用内窥镜提供的图像信号相对应的内窥镜图像；一个以上的臂操作部，用于分别控制一个以上的机器臂；增强现实技术实现部，根据使用者利用臂操作部进行的操作而生成虚拟手术器械信息，并通过画面显示部显示虚拟手术器械。手术用内窥镜可以是腹腔镜、胸腔镜、关节镜、鼻镜、膀胱镜、直肠镜、十二指肠镜、纵隔镜、心脏镜中的一个以上。手术用机器人的主接口还可以包括操作信号生成部，该操作信号生成部根据使用者的操作生成用于控制机器臂的操作信号并传送给从机器人。手术用机器人的主接口还可以包括：驱动模式选择部，用于指定主机器人的驱动模式；控制部，控制成与由驱动模式选择部选择的驱动模式相对应地通过画面显示部显示内窥镜图像及虚拟手术器械中的一个以上。控制部能够进行控制使与被选择的驱动模式相对应的模式标记通过画面显示部显示。模式标记可以预先指定为文本讯息、边框颜色、图标、背景颜色等中的一个以上。从机器人还可以包括生体信息测定单元。由生体信息测定单元测定的生体信息可以通过画面显示部显示。增强现实技术实现部可以包括：特性值运算部，利用内窥镜图像及与一个以上的机器臂结合的实际手术器械的位置坐标信息中的一个以上来运算特性值；虚拟手术器械生成部，根据使用者利用臂操作部进行的操作而生成虚拟手术器械信息。通过特性值运算部运算的特性值可以包括手术用内窥镜的视角(FOV)、放大率、视点(viewpoint)、观看深度、和实际手术器械的种类、方向、深度、弯曲角度中的一个以上。增强现实技术实现部还可以包括：测试信号处理部，将测试信号传送给从机器人，并从从机器人接收基于测试信号的应答信号；延迟时间计算部，利用测试信号的传送时刻及应答信号的接收时刻，计算主机器人和从机器人之间的网络通信速度及网络通信上的延迟时间中的一个以上的延迟值。主接口还可以包括控制部，其进行控制使画面显示部显示内窥镜图像及虚拟手术器械中的一个以上。在此，当延迟值小于等于预设的延迟阈值时，控制部可以控制成在画面显示部仅显示内窥镜图像。增强现实技术实现部还可以包括间距运算部，利用通过画面显示部显示的实际手术器械和虚拟手术器械的位置坐标，运算各手术器械之间的间本文档来自技高网...

【技术保护点】
一种手术仿真方法，该手术仿真方法在用于控制具有机器臂的从机器人的主机器人上执行，其特征在于，包括如下步骤：识别脏器选择信息的步骤；以及利用预先存储的脏器建模信息，显示与所述脏器选择信息相对应的三维脏器图像的步骤；所述脏器建模信息具有包括对应的脏器内部及外部各点的形状、颜色及触感中的一个以上的特性信息。

【技术特征摘要】
2009.03.24 KR 10-2009-0025067;2009.05.19 KR 10-2001.一种手术仿真方法，该手术仿真方法在用于控制具有机器臂的从机器人的主机器人上执行，其特征在于，包括如下步骤：识别脏器选择信息的步骤；以及利用预先存储的脏器建模信息，显示与所述脏器选择信息相对应的三维脏器图像的步骤；所述脏器建模信息具有包括对应的脏器内部及外部各点的形状、颜色及触感中的一个以上的特性信息。2.如权利要求1所述的手术仿真方法，其特征在于，为了识别脏器选择信息执行如下步骤：利用通过手术用内窥镜输入的图像信号，解析在手术部位内所包含的脏器的颜色及外形中的一个以上信息的步骤；以及在预先存储的脏器建模信息中，识别与所述解析的信息相匹配的脏器的步骤。3.如权利要求1所述的手术仿真方法，其特征在于，所述脏器选择信息是对一个以上的脏器，并通过施术者选择输入。4.如权利要求1所述的手术仿真方法，其特征在于，还包括如下步骤：根据臂操作部操作，接收有关所述三维脏器图像的手术操作命令的步骤；以及利用所述脏器建模信息，输出基于所述手术操作命令的触感信息的步骤。5.如权利要求4所述的手术仿真方法，其特征在于，所述触感信息是用于对所述臂操作部操作时的操作灵敏度及操作阻力中的一个以上进行控制的控制信息，或是用于进行力反馈处理的控制信息。6.如权利要求1所述的手术仿真方法，其特征在于，还包括如下步骤：根据臂操作部操作接收基于所述三维脏器图像的手术操作命令的步骤；以及利用所述脏器建模信息，显示基于所述手术操作命令的操作结果图像的步骤。7.如权利...

【专利技术属性】
技术研发人员：李珉奎，崔胜旭，元钟硕，洪性宽，
申请(专利权)人：伊顿株式会社，
类型：发明
国别省市：韩国,KR