【技术实现步骤摘要】
本专利技术涉及手术导航过程中手术目标的三维模型动态更新，属于医疗器械。
技术介绍
1、随着计算机领域的快速发展，在医疗图像处理方面，单纯应用二维图像阅片无法达到预期的手术效果，因此，使用三维重建的影像可以提供空间结构上的更清晰、更直观的显示，减少手术副损伤，为手术提供帮助。
2、在现有技术中，对于腔镜手术机器人而言，由于使用的是传统单模态的三维重建获得的模型，在具体操作过程中该模型是固化的，而手术模型对应的环境在具体操作中是变化的，因此，无法准确反应手术过程中对具体操作带来的空间结构的变化，可能影响手术效果。
技术实现思路
1、针对腔镜手术机器人采用传统单模态三维重建时存在的问题，本专利技术提供一种基于多模态融合的腔镜手术机器人三维重建系统。
2、本专利技术所述一种基于多模态融合的腔镜手术机器人三维重建系统，所述系统用于腔镜手术机器人，所述腔镜手术机器人包括多个关节以及至少一个设置于器械末端的信号采集器，所述信号采集器为内窥镜或超声探头，所述系统包括三维建模模块和模型更新模块；
3、所述三维建模模块用于建立手术目标的初始三维模型；
4、所述模型更新模块用于实时获取所述手术目标的所述内窥镜的图像或所述超声探头的数据，并根据所述腔镜手术机器人的每个所述关节的实时角度、所述腔镜手术机器人的不动点的位姿，得到所述内窥镜或所述超声探头相对于每个所述不动点的相对位姿，其中，所述不动点为所述腔镜手术机器人位置不会发生改变的点位；
5、所
6、可选地，所述三维建模模块包括：编码单元和解码单元；
7、所述编码单元用于根据所述手术目标的模态信息，得到所述手术目标的数据特征；
8、所述编码单元还用于根据所述数据特征，得到所述模态信息对应的特征编码；
9、所述解码单元，用于根据所述特征编码，通过神经网络模型得到所述手术目标的所述初始三维模型。
10、可选地，所述解码单元还用于：
11、根据所述模态信息的类型，为所述模态信息对应的所述特征编码分配对应的所述神经网络模型，其中，所述模态信息包括图像数据、信号数据和数值型数据；
12、当所述模态信息为所述图像数据时，将所述图像数据输入所述神经网络模型的卷积神经网络模块得到所述手术目标的所述初始三维模型；
13、当所述模态信息为所述信号数据时，将所述信号数据输入所述神经网络模型的循环神经网络得到所述手术目标的所述初始三维模型；
14、当所述模态信息为所述数值型数据时，将所述数值型数据输入所述神经网络模型的基础神经网络得到所述手术目标的所述初始三维模型。
15、可选地，所述模型更新模块还用于：
16、根据所述腔镜手术机器人的每个所述关节的实时角度，得到所述腔镜手术机器人的器械末端的位置姿态；
17、根据所述腔镜手术机器人的器械末端的所述位置姿态，得到所述腔镜手术机器人的每个所述关节的所述实时角度。
18、可选地，所述模型更新模块还用于：
19、根据所述信号采集器相对于每个所述不动点的所述相对位姿，得到所述信号采集器在所述初始三维模型中的实时位姿；
20、将所述超声探头的数据或所述内窥镜的图像映射到所述初始三维模型对应的所述实时位姿上，对所述初始三维模型进行更新，获取动态三维模型。
21、可选地，所述系统还包括：数据预处理模块；
22、所述数据预处理模块，用于对所述手术目标的初始模态信息进行预设预处理操作，得到所述手术目标的所述模态信息，其中，所述模态信息的数据格式与输入所述初始三维模型的数据格式相同。
23、可选地，所述系统还包括：器械追踪模块；
24、所述器械追踪模块，用于根据所述动态三维模型和所述器械末端相对于所述不动点的所述位置姿态，得到所述器械末端在所述动态三维模型中的相对位置。
25、可选地，所述器械追踪模块包括碰撞检测单元和碰撞预警单元：
26、所述碰撞检测单元，用于根据所述动态三维模型检测所述器械末端与其他所述器械末端的相对位置是否满足预设安全范围；
27、所述碰撞预警单元用于当所述器械末端与其他所述器械末端的相对位置小于或等于预设安全范围时，进行预警。
28、可选地，所述器械追踪模块包括计算单元，所述计算单元用于根据运动学方程得到所述器械末端相对于所述不动点的所述位置姿态。
29、可选地，所述计算单元包括正向运动方程和逆向运动方程；
30、所述正向运动方程用于根据所述腔镜手术机器人的每个所述关节的实时角度，得到所述器械末端相对于所述不动点的所述位置姿态；
31、所述逆向运动方程用于根据所述器械末端相对于所述不动点的所述位置姿态，得到所述腔镜手术机器人的每个所述关节的实时角度。
32、本专利技术的有益效果：本专利技术所述的腔镜手术机器人三维重建系统，以三维建模模块建立的初始三维模型为基础，通过模型更新模块，根据内窥镜或超声探头与腔镜手术机器人的不动点的相对位置的变化，在此基础上将手术目标实时的内窥镜的图像以及超声探头的数据按照其相对位置，对初始三维模型进行实时更新，使初始三维模型跟随内窥镜或超声探头获得的数据实时变化，以此获得动态三维模型，使其所建立的模型更加直观，同时充分利用实时数据，动态展现模型的空间结构变化，做到实时更新三维模型，同时三维模型综合了内窥镜或超声探头的图像或数据，使三维模型具有更加丰富的动态信息，提高了三维模型的精准度，并使其三维模型展示的细节更加丰富准确。
本文档来自技高网...【技术保护点】
1.一种基于多模态融合的腔镜手术机器人三维重建系统，其特征在于，所述系统用于腔镜手术机器人，所述腔镜手术机器人包括多个关节以及至少一个设置于器械末端的信号采集器，所述信号采集器为内窥镜或超声探头，所述系统包括三维建模模块和模型更新模块；
2.根据权利要求1所述一种基于多模态融合的腔镜手术机器人三维重建系统，其特征在于，所述三维建模模块包括：编码单元和解码单元；
3.根据权利要求2所述一种基于多模态融合的腔镜手术机器人三维重建系统，其特征在于，所述解码单元还用于：
4.根据权利要求1所述一种基于多模态融合的腔镜手术机器人三维重建系统，其特征在于，所述模型更新模块还用于：
5.根据权利要求1所述一种基于多模态融合的腔镜手术机器人三维重建系统，其特征在于，所述模型更新模块还用于：
6.根据权利要求3所述一种基于多模态融合的腔镜手术机器人三维重建系统，其特征在于，所述系统还包括：数据预处理模块；
7.根据权利要求1所述一种基于多模态融合的腔镜手术机器人三维重建系统，其特征在于，所述系统还包括：器械追踪模块；
<...【技术特征摘要】
1.一种基于多模态融合的腔镜手术机器人三维重建系统，其特征在于，所述系统用于腔镜手术机器人，所述腔镜手术机器人包括多个关节以及至少一个设置于器械末端的信号采集器，所述信号采集器为内窥镜或超声探头，所述系统包括三维建模模块和模型更新模块；
2.根据权利要求1所述一种基于多模态融合的腔镜手术机器人三维重建系统，其特征在于，所述三维建模模块包括：编码单元和解码单元；
3.根据权利要求2所述一种基于多模态融合的腔镜手术机器人三维重建系统，其特征在于，所述解码单元还用于：
4.根据权利要求1所述一种基于多模态融合的腔镜手术机器人三维重建系统，其特征在于，所述模型更新模块还用于：
5.根据权利要求1所述一种基于多模态融合的腔镜手术机器人三维重建系统，其特征在于，所述模型更新模块还用于：
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。