基于AR的手术机器人现场故障排除系统及方法、存储介质技术方案

本发明专利技术提供了一种基于AR的手术机器人现场故障排除系统及方法、存储介质，其能够根据历史数据建立与各种故障原因一一对应的虚拟故障排除操作模型，并通过视频分析结果及故障码等数据分析并推导出当前故障原因，进而找到对应的虚拟故障排除操作模型，由此可通过AR设备将找到的虚拟故障排除操作模型叠加到手术机器人上，即将实际的故障排除步骤与预先规划的故障排除路径所对应的虚拟三维模型进行虚实融合，可以实时、有效的指导相关人员排除故障，缩短故障排除时间，提高故障排除效率，降低故障排除错误率，缩短手术时间。缩短手术时间。缩短手术时间。

【技术实现步骤摘要】
基于AR的手术机器人现场故障排除系统及方法、存储介质


[0001]本专利技术涉及医疗器械故障排除
，特别涉及一种基于AR的手术机器人现场故障排除系统及方法、存储介质。

技术介绍

[0002]近年来，手术机器人系统凭借其清晰的立体视觉反馈、灵活操控等特点，成为帮助医生完成手术(例如微创手术)有力工具，且已经广泛地应用于医疗手术领域。
[0003]请参考图1，目前的手术机器人系统通常包括医生端控制台10、图像显示台20以及患者端手术台30，患者端手术台30通常包含多个机械臂(未标记)，这些机械臂包括用于挂载或连接内窥镜的视觉机械臂和至少一个挂载或连接手术器械的手术机械臂。手术机器人系统在术前通过机器自检确定机器初始化位置和状态，并在人工安装完成戳卡(未图示、手术器械(未图示)、内窥镜(未图示)以及无菌袋(未图示)等装置后，即可进入主从手术操作状态，外科医生可以从医生端控制台10输入控制指令，继而控制患者端手术台30驱动机械臂以对患者施展手术。其中，术前和术中的各器械的不当摆位、主从操作或机器本身遭遇的非预期状况均会导致现场故障的产生，为了确保手术的效率和安全性，需要及时对这些故障进行及时且准确的排除。
[0004]然而，目前的手术机器人现场故障排除方案存在以下技术问题：
[0005]1、手术机器人系统自身有安全故障报警及解除方法提示，因此，在发生故障时，手术机器人系统会在显示设备上给出提示故障码，需要跟台人员根据故障码进行故障排除，然而由于手术机器人系统的故障码类型多且复杂，故障排除人员无法迅速定位和排除手术机器人故障；
[0006]2、故障的排除方法和步骤极度依赖专业人员的技能和主观判断能力，技能培训耗时长且成本高；
[0007]3、对于熟练程度欠缺的医生和非预期问题的解除，需要现场跟台人员即时准确的排除故障，人力成本高，且手术跟台人员根据主观判断，凭经验进行故障排除，导致人与人之间的故障排除效率不同。
[0008]4、故障排除的操作过程无法监控和响应，由此导致故障无法准确高效的排除。

技术实现思路

[0009]本专利技术的目的在于提供一种基于AR的手术机器人现场故障排除系统及方法、可读存储介质，能够解决现有技术存在的至少部分技术问题。
[0010]为实现上述目的，本专利技术提供一种基于AR的手术机器人现场故障排除系统，其包括：
[0011]故障处理系统，用于根据历史数据建立手术机器人的多种故障原因所对应的虚拟故障排除操作模型；
[0012]视频分析系统，用于采集和分析所述手术机器人在术前和术中的操作视频，以得
到故障发生前的第一行为数据；
[0013]数据交互系统，用于与视频分析系统以及所述手术机器人的运动控制系统进行数据交互，以实时获取所述手术机器人的状态数据；
[0014]故障分析系统，用于对所述第一行为数据和所述状态数据进行分析，以根据所述分析结果从所述故障处理系统中找到对应于当前故障原因的虚拟故障排除操作模型；
[0015]AR设备，用于通过坐标映射，将所述故障分析系统所确定的虚拟故障排除操作模型通过虚实融合的方式叠加到手术机器人上，以指导相关人员进行故障排除的操作。
[0016]可选地，所述故障分析系统还用于按步骤将所述虚拟故障排除操作模型中的各步故障排除操作下发至所述AR设备；所述视频分析系统还用于采集和分析所述相关人员当前步的故障排除操作视频，以得到第二行为数据，并判断所述相关人员当前步的故障排除操作是否有效，且在判断为有效时，才使得所述故障分析系统将所述虚拟故障排除操作模型中的下一步故障排除操作下发至所述AR设备。
[0017]可选地，所述故障分析系统还用于在所述视频分析系统判断所述相关人员当前步的故障排除操作为无效时，使得所述AR设备指导所述相关人员重复所述当前步的故障排除操作，或者，对所述第二行为数据、所述第一行为数据和所述状态数据进行综合分析，以重新获得当前故障原因及对应的虚拟故障排除操作模型。
[0018]可选地，所述手术机器人包括患者端手术台和医生端控制台，所述视觉分析系统包括第一摄像装置和第二摄像装置，所述第一摄像装置用于拍摄所述患者端手术台区域内的操作视频和患者端手术台的各部件状态，所述第二摄像装置用于拍摄所述医生端控制台区域的操作视频和医生端控制台的各部件状态。
[0019]可选地，所述AR设备具有双目视觉模组，所述双目视觉模组用于建立所述坐标映射。
[0020]可选地，所述视频分析系统或所述故障处理系统还用于：对历史操作视频按照不同的故障原因进行分类，得到相应的分类视频，并对每个分类视频的单帧图像和多帧图像进行建模，获取各个所述故障原因的特征模型和视频模型；
[0021]所述视频分析系统还用于在实时采集手术机器人的操作视频的同时，以故障发生时刻为起始点，利用当前故障原因的视频模型对故障发生前采集到的操作视频进行截取，并利用所述当前故障原因的特征模型对截取出的操作视频进行行为数据分析，以得到所述当前故障原因对应的第一行为数据。
[0022]可选地，所述手术机器人在发生故障时自动产生对应于当前故障原因的故障码，所述故障分析系统根据所述故障码以及所述第一行为数据、所述状态数据得到所述虚拟故障排除操作模型；或者，所述AR设备具有触发按钮，用于在手术机器人发生故障时手动触发所述故障分析系统，以使得所述故障分析系统分析得到对应于当前障原因的故障码。
[0023]可选地，所述手术机器人包括脚踏、机械臂、内窥镜、动力盒、戳卡、手术器械，其中，机械臂包括医生端控制台上的主手以及患者端手术台上的从手，所述故障原因包括手术姿态不匹配、主从姿态不匹配、内窥镜故障视野固定、踩踏脚踏时能量无输出、动力盒无法回零位、戳卡松脱、机械臂的伸缩关节到达极限位置、器械无法松开中的至少一种。
[0024]基于同一专利技术构思，本专利技术还提供一种手术机器人现场故障排除方法，其包括：
[0025]根据历史数据预先建立手术机器人的多种故障原因所对应的虚拟故障排除操作
模型；
[0026]实时采集和分析所述手术机器人在术前和术中的操作视频，以得到故障发生前的第一行为数据；
[0027]实时获取所述手术机器人的状态数据；
[0028]对所述第一行为数据和所述状态数据进行分析，以根据所述分析结果从预先建立的所有虚拟故障排除操作模型中找出当前故障原因的虚拟故障排除操作模型；
[0029]通过AR设备的坐标映射，将所找出的虚拟故障排除操作模型通过虚实融合的方式叠加到手术机器人上，以指导相关人员进行故障排除的操作。
[0030]可选地，按步骤将所找出的虚拟故障排除操作模型通过虚实融合的方式叠加到手术机器人上，同时采集和分析所述相关人员当前步的故障排除操作视频，以得到第二行为数据，并判断所述相关人员当前步的故障排除操作是否有效，且在判断为有效时，才将所述虚拟故障排除操作模型中的下一步故障排除操作下发至所述AR设备。
[0031]可选地本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于AR的手术机器人现场故障排除系统，其特征在于，包括：故障处理系统，用于根据历史数据建立手术机器人的多种故障原因所对应的虚拟故障排除操作模型；视频分析系统，用于采集和分析所述手术机器人在术前和术中的操作视频，以得到故障发生前的第一行为数据；数据交互系统，用于与视频分析系统以及所述手术机器人的运动控制系统进行数据交互，以实时获取所述手术机器人的状态数据；故障分析系统，用于对所述第一行为数据和所述状态数据进行分析，以根据所述分析结果从所述故障处理系统中找到对应于当前故障原因的虚拟故障排除操作模型；AR设备，用于通过坐标映射，将所述故障分析系统所确定的虚拟故障排除操作模型通过虚实融合的方式叠加到手术机器人上，以指导相关人员进行故障排除的操作。2.如权利要求1所述的手术机器人现场故障排除系统，其特征在于，所述故障分析系统还用于按步骤将所述虚拟故障排除操作模型中的各步故障排除操作下发至所述AR设备；所述视频分析系统还用于采集和分析所述相关人员当前步的故障排除操作视频，以得到第二行为数据，并判断所述相关人员当前步的故障排除操作是否有效，且在判断为有效时，才使得所述故障分析系统将所述虚拟故障排除操作模型中的下一步故障排除操作下发至所述AR设备。3.如权利要求2所述的手术机器人现场故障排除系统，其特征在于，所述故障分析系统还用于在所述视频分析系统判断所述相关人员当前步的故障排除操作为无效时，使得所述AR设备指导所述相关人员重复所述当前步的故障排除操作，或者，对所述第二行为数据、所述第一行为数据和所述状态数据进行综合分析，以重新获得当前故障原因及对应的虚拟故障排除操作模型。4.如权利要求1所述的手术机器人现场故障排除系统，其特征在于，所述手术机器人包括患者端手术台和医生端控制台，所述视觉分析系统包括第一摄像装置和第二摄像装置，所述第一摄像装置用于拍摄所述患者端手术台区域内的操作视频和患者端手术台的各部件状态，所述第二摄像装置用于拍摄所述医生端控制台区域的操作视频和医生端控制台的各部件状态。5.如权利要求4所述的手术机器人现场故障排除系统，其特征在于，所述AR设备具有双目视觉模组，所述双目视觉模组用于建立所述坐标映射。6.如权利要求1
‑
5中任一项所述的手术机器人现场故障排除系统，其特征在于，所述视频分析系统或所述故障处理系统还用于：对历史操作视频按照不同的故障原因进行分类，得到相应的分类视频，并对每个分类视频的单帧图像和多帧图像进行建模，获取各个所述故障原因的特征模型和视频模型；所述视频分析系统还用于在实时采集手术机器人的操作视频的同时，以故障发生时刻为起始点，利用当前故障原因的视频模型对故障发生前采集到的操作视频进行截取，并利用所述当前故障原因的特征模型对截取出的操作视频进行行为数据分析，以得到所述当前故障原因对应的第一行为数据。7.如权利要求6所述的手术机器人现场故障排除系统，其特征在于，所述手术机器人在发生故障时自动产生...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：上海微创医疗机器人集团股份有限公司，
类型：发明
国别省市：