一种基于实时反馈的增强现实人体定位导航方法及装置制造方法及图纸

本发明专利技术涉及计算机技术领域，尤其涉及一种基于实时反馈的增强现实人体定位导航方法及装置，包括：根据AR设备采集到的目标对象的信息生成的特征点信息和目标对象的第一三维重建图像，生成图像变换参数，然后根据图像变换参数调整所述第一三维重建图像，得到第二三维重建图像，且第二三维重建图像中的特征点与所述目标对象的特征点吻合，所述第二三维重建图像用于在AR设备显示。该方法，在AR设备上显示的三维重建图像是根据采集到的目标对象的信息生成的特征点信息而进行实时调整，使得医生在观看AR设备时，看到的AR设备上的三维重建图像与AR设备上的摄像头拍摄到的目标对象之间是吻合的，从而方便了医生在术中提高手术的准确性和效率。

【技术实现步骤摘要】

本专利技术涉及计算机
，尤其涉及一种基于实时反馈的增强现实人体定位导航方法及装置。
技术介绍
目前临床工作中大量的操作是建立在准确的解剖定位的基础上，如各种穿刺操作，直到现在很多解剖结构定位仍是由医生徒手完成。因而造成定位不准确，造成一定的手术风险。为解决上述问题，目前临床上也已经在逐渐应用三维可视化软件，如3DSlicer、ImageJ等，或者导航系统专门配置的一些三维重建软件，使用这些软件对患者的身体部位进行三维重建，可以用于术前观察，以便医生可以判断患者身体部位的状况。上述方法虽然在一定程度上提高了医生进行手术的效率及准确率，但是仍然存在着以下问题：1)这些软件生成的三维重建图像只能用于术前的观察，并不能够在三维重建图像和真实人体间建立直接联系；2)生成最终的三维重建图像没有根据操作环境进行相应调整，生成的定位数据没有和医生或现场的交互输入/反馈进行动态调节。综上所述，现有技术中的医学三维重建图像没有与真实人体建立直接联系，因而导致无法在手术现场根据真实人体进行实时调整。
技术实现思路
本专利技术提供一种基于实时反馈的增强现实人体定位导航方法及装置，用以解决现有技术中存在的医学三维重建图像没有与真实人体建立直接联系，因而导致无法在手术现场根据真实人体进行实时调整的技术问题。一方面，本专利技术实施例提供一种基于实时反馈的增强现实人体定位导航方法，包括：根据AR设备采集到的目标对象的信息生成的特征点信息和所述目标对象的第一三维重建图像，生成图像变换参数，所述第一三维重建图像为根据所述目标对象的医学图像数据生成的；根据所述图像变换参数，调整所述第一三维重建图像，得到第二三维重建图像，在所述AR设备上显示的所述第二三维重建图像中的特征点与所述目标对象的特征点吻合。本专利技术实施例提供的方法，首先根据AR设备采集到的目标对象的信息生成的特征点信息和目标对象的第一三维重建图像，生成图像变换参数，然后根据图像变换参数调整所述第一三维重建图像，得到第二三维重建图像，并且所述第二三维重建图像中的特征点与所述目标对象的特征点吻合，所述第二三维重建图像用于在AR设备显示。该方法可以实现在AR设备显示三维重建图像，并且显示的三维重建图像是根据采集到的目标对象的信息生成的特征点信息而进行实时调整，使得医生在观看AR设备时，看到的AR设备上的三维重建图像与AR设备上的摄像头拍摄到的目标对象之间是吻合的，并且即使AR设备的位置有所移动，AR设备上的三维重建图像也可以实时调整，从而该方法极大地方便了医生在术中提高手术的准确性和效率。可选地，所述根据AR设备采集到的目标对象的信息生成的特征点信息和所述目标对象的第一三维重建图像，生成图像变换参数，包括：根据所述特征点信息，确定所述目标对象的特征模式；根据所述目标对象的特征模式及所述目标对象的第一三维重建图像，确定所述第一三维重建图像的旋转角度和旋转方向；将所述旋转角度和旋转方向，作为所述图像变换参数。可选地，所述根据AR设备采集到的目标对象的信息生成的特征点信息和所述目标对象的第一三维重建图像，生成图像变换参数之前，还包括：接收所述AR设备采集到的目标对象的信息；所述根据所述图像变换参数，调整所述第一三维重建图像，得到第二三维重建图像之后，还包括：将所述第二三维重建图像发送给所述AR设备，以使在所述AR设备上显示所述第二三维重建图像。可选地，根据下列方式生成所述第一三维重建图像：根据所述目标对象的医学图像数据，生成所述目标对象的初始三维重建图像；根据医学数据库系统，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像。可选地，所述AR设备通过所述AR设备上的传感器扫描所述目标对象来采集所述目标对象的信息，或者所述AR设备通过所述AR设备上的摄像头拍摄所述目标对象来获取所述目标对象的信息。可选地，所述方法还包括：根据接收到的用户指令信息，生成图像调整参数；根据所述图像调整参数，调整所述第二三维重建图像，得到第三三维重建图像；在所述AR设备上显示所述第三三维重建图像。可选地，所述根据医学数据库系统，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像，包括：接收用户通过预先设定的参数调整系统输入的第一参数调整指令，所述参数调整系统用于以可视化的方式显示三维重建图像信息；根据所述第一参数调整指令及所述医学数据库系统，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像。可选地，所述根据医学数据库系统，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像，包括：根据用户从预先建立的功能模块库中选择的功能模块及用户对选择的功能模块的连接方式，确定第二参数调整指令，所述预先建立的功能模块库中的每个功能模块用于表示一种图像处理方式或多种图像处理方式的组合，所述预先建立的功能模块库中的所有功能模块可在一定的规则下进行连接；根据所述第二参数调整指令及所述医学数据库系统，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像。可选地，所述根据所述目标对象的医学图像数据，生成所述目标对象的初始三维重建图像，包括：根据所述目标对象的医学图像数据、用户从预先建立的功能模块库中选择的功能模块及用户对选择的功能模块的连接方式，生成所述目标对象的初始三维重建图像，所述预先建立的功能模块库中的每个功能模块用于表示一种图像处理方式或多种图像处理方式的组合，所述预先建立的功能模块库中的所有功能模块可在一定的规则下进行连接；所述根据医学数据库系统，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像，包括：根据用户对所述选择的功能模块进行指令输入，得到第三参数调整指令；根据所述根据医学数据库系统及所述第三参数调整指令，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像。另一方面，本专利技术实施例提供一种基于实时反馈的增强现实人体定位导航装置，包括：生成单元，用于根据AR设备采集到的目标对象的信息生成的特征点信息和所述目标对象的第一三维重建图像，生成图像变换参数，所述第一三维重建图像为根据所述目标对象的医学图像数据生成的；调整单元，用于根据所述图像变换参数，调整所述第一三维重建图像，得到第二三维重建图像，在所述AR设备上显示的所述第二三维重建图像中的特征点与所述目标对象的特征点吻合。可选地，所述生成单元，具体用于：根据所述特征点信息，确定所述目标对象的特征模式；根据所述目标对象的特征模式及所述目标对象的第一三维重建图像，确定所述第一三维重建图像的旋转角度和旋转方向；将所述旋转角度和旋转方向，作为所述图像变换参数。可选地，所述装置还包括接收单元，用于：接收所述AR设备采集到的目标对象的信息；所述装置还包括发送单元，用于：将所述第二三维重建图像发送给所述AR设备，以使在所述AR设备上显示所述第二三维重建图像。可选地，所述调整单元还用于：根据所述目标对象的医学图像数据，生成所述目标对象的初始三维重建图像；根据医学数据库系统，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像。可选地，所述AR设备通过所述AR设备上的传感器扫描所述目标对象来采集所述目标对象的信息，或者所述AR设备通过所述AR设备上的摄像头拍摄所述目标对象来获取所述目标对象的信息。可选地，所述生成单本文档来自技高网...

【技术保护点】
一种基于实时反馈的增强现实人体定位导航方法，其特征在于，包括：根据增强现实AR设备采集到的目标对象的信息生成的特征点信息和所述目标对象的第一三维重建图像，生成图像变换参数，所述第一三维重建图像为根据所述目标对象的医学图像数据生成的；根据所述图像变换参数，调整所述第一三维重建图像，得到第二三维重建图像，在所述AR设备上显示的所述第二三维重建图像中的特征点与所述目标对象的特征点吻合。

【技术特征摘要】
2016.06.06 CN 20161039535541.一种基于实时反馈的增强现实人体定位导航方法，其特征在于，包括：根据增强现实AR设备采集到的目标对象的信息生成的特征点信息和所述目标对象的第一三维重建图像，生成图像变换参数，所述第一三维重建图像为根据所述目标对象的医学图像数据生成的；根据所述图像变换参数，调整所述第一三维重建图像，得到第二三维重建图像，在所述AR设备上显示的所述第二三维重建图像中的特征点与所述目标对象的特征点吻合。2.如权利要求1所述的方法，其特征在于，所述根据AR设备采集到的目标对象的信息生成的特征点信息和所述目标对象的第一三维重建图像，生成图像变换参数，包括：根据所述特征点信息，确定所述目标对象的特征模式；根据所述目标对象的特征模式及所述目标对象的第一三维重建图像，确定所述第一三维重建图像的旋转角度和旋转方向；将所述旋转角度和旋转方向，作为所述图像变换参数。3.如权利要求1所述的方法，其特征在于，所述根据AR设备采集到的目标对象的信息生成的特征点信息和所述目标对象的第一三维重建图像，生成图像变换参数之前，还包括：接收所述AR设备采集到的目标对象的信息；所述根据所述图像变换参数，调整所述第一三维重建图像，得到第二三维重建图像之后，还包括：将所述第二三维重建图像发送给所述AR设备，以使在所述AR设备上显示所述第二三维重建图像。4.如权利要求1所述的方法，其特征在于，根据下列方式生成所述第一三维重建图像：根据所述目标对象的医学图像数据，生成所述目标对象的初始三维重建图像；根据医学数据库系统，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像。5.如权利要求1-4中任一项所述的方法，其特征在于，所述AR设备通过所述AR设备上的传感器扫描所述目标对象来采集所述目标对象的信息，或者所述AR设备通过所述AR设备上的摄像头拍摄所述目标对象来获取所述目标对象的信息。6.如权利要求1-4中任一项所述的的方法，其特征在于，所述方法还包括：根据接收到的用户指令信息，生成图像调整参数；根据所述图像调整参数，调整所述第二三维重建图像，得到第三三维重建图像；在所述AR设备上显示所述第三三维重建图像。7.如权利要求4所述的方法，其特征在于，所述根据医学数据库系统，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像，包括：接收用户通过预先设定的参数调整系统输入的第一参数调整指令，所述参数调整系统用于以可视化的方式显示三维重建图像信息；根据所述第一参数调整指令及所述医学数据库系统，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像。8.如权利要求4所述的方法，其特征在于，所述根据医学数据库系统，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像，包括：根据用户从预先建立的功能模块库中选择的功能模块及用户对选择的功能模块的连接方式，确定第二参数调整指令，所述预先建立的功能模块库中的每个功能模块用于表示一种图像处理方式或多种图像处理方式的组合，所述预先建立的功能模块库中的所有功能模块可在一定的规则下进行连接；根据所述第二参数调整指令及所述医学数据库系统，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像。9.如权利要求4所述的方法，其特征在于，所述根据所述目标对象的医学图像数据，生成所述目标对象的初始三维重建图像，包括：根据所述目标对象的医学图像数据、用户从预先建立的功能模块库中选择的功能模块及用户对选择的功能模块的连接方式，生成所述目标对象的初始三维重建图像，所述预先建立的功能模块库中的每个功能模块用于表示一种图像处理方式或多种图像处理方式的组合，所述预先建立的功能模块库中的所有功能模块可在一定的规则下进行连接；所述根...

【专利技术属性】
技术研发人员：叶健，高寒，万里，邱凌凌，
申请(专利权)人：厦门铭微科技有限公司，
类型：发明
国别省市：福建;35