【技术实现步骤摘要】
本公开涉及自动控制，尤其涉及一种跟踪系统和相机对齐的方法、装置、设备以及存储介质。
技术介绍
1、对于任何计算机系统而言，延迟都是不可避免的特征，运动到光子（motion-to-photon，mtp）延迟也是其中之一，它描述了一个被跟踪物体开始运动的时刻和它在显示屏上显现出来的时刻的差值，该延迟会影响交互式图像显示程序的性能。
2、目前的一种思路是可以给跟踪系统人为加上延迟，从而让用户能在同一时刻收到延迟后的跟踪位姿信息和图像信息，在不强调实时性，仅要求位姿信息和图像信息对齐的场景下，该方法是很适用且便捷的，但目前应用该思路的对齐方法操作繁琐且通用性较差。
技术实现思路
1、本公开提供了一种跟踪系统和相机对齐的方法、装置、设备以及存储介质。
2、根据本公开的第一方面，提供了一种跟踪系统和相机对齐的方法，该方法包括：
3、使用相机获取移动的标定板在相机坐标系下的位姿；
4、使用跟踪系统获取相机和移动的标定板在跟踪系统坐标系下的位姿；
5、根据标定板在相机坐标系和跟踪系统坐标系下的位姿、相机在跟踪系统坐标系下的位姿、跟踪系统的帧率，确定相机和追踪系统之间的时间差和帧数差；
6、基于相机和追踪系统之间的时间差和帧数差，将跟踪系统和相机同步对齐。
7、在第一方面的一些实现方式中，根据标定板在相机坐标系和跟踪系统坐标系下的位姿、相机在跟踪系统坐标系下的位姿、跟踪系统的帧率，确定相机和追踪系统之间的时间差和帧数
8、根据标定板在跟踪系统坐标系下当前帧以及当前帧的第前k个帧的坐标以及跟踪系统的帧率，确定标定板的平均速度，其中，k为大于等于1的正整数；
9、基于标定板的平均速度、标定板在相机坐标系和跟踪系统坐标系下的位姿、相机在跟踪系统坐标系下的位姿，确定相机和追踪系统之间的时间差；
10、基于相机和追踪系统之间的时间差以及跟踪系统的帧率，确定相机和追踪系统之间的帧数差。
11、在第一方面的一些实现方式中，基于标定板的平均速度、标定板在相机坐标系和跟踪系统坐标系下的位姿、相机在跟踪系统坐标系下的位姿，确定相机和追踪系统之间的时间差，包括：
12、基于标定板在相机坐标系下的位姿和相机在跟踪系统坐标系下的位姿，将标定板在相机坐标系下的位姿转化到跟踪系统坐标系下，得到位姿s1；
13、根据公式，确定相机和追踪系统之间的时间差，其中，为相机和追踪系统之间的时间差，s2为跟踪系统获取的标定板在跟踪系统坐标系下的位姿，为标定板的平均速度；
14、基于相机和追踪系统之间的时间差以及跟踪系统的帧率，确定相机和追踪系统之间的帧数差，包括：
15、根据公式，确定相机和追踪系统之间的帧数差，其中，为相机和追踪系统之间的帧数差，为相机和追踪系统之间的时间差，为跟踪系统的帧率。
16、在第一方面的一些实现方式中，基于相机和追踪系统之间的时间差和帧数差，将跟踪系统和相机同步对齐，包括：
17、当标定板在相机坐标系下的当前位姿转化到跟踪系统坐标系下的位姿和标定板在补偿后的跟踪系统坐标系下的当前位姿之差大于阈值时，增加k值，确定相机和追踪系统之间的新时间差和新帧数差，不断循环，直至基于最新时间差和最新帧数差对追踪系统进行补偿之后，标定板在相机坐标系下的当前位姿转化到跟踪系统坐标系下的位姿和标定板在最新补偿后的跟踪系统坐标系下的当前位姿之差小于等于阈值；
18、分别计算在当前帧以及当前帧的前j-1个帧中各帧最新补偿后的时间差和帧数差满足预设稳定条件的情况下，基于相机和追踪系统之间的最新时间差和最新帧数差，对追踪系统进行补偿，将跟踪系统和相机同步对齐，其中，j为大于等于2的正整数。
19、在第一方面的一些实现方式中，分别计算在当前帧以及当前帧的前j-1个帧中各帧最新补偿后的时间差和帧数差满足预设稳定条件的情况下，基于相机和追踪系统之间的最新时间差和最新帧数差，对追踪系统进行补偿，将跟踪系统和相机同步对齐，包括：
20、基于当前帧以及当前帧的前j-1个帧中最新补偿后的时间差，确定平均时间差；
21、基于当前帧以及当前帧的前j-1个帧中最新补偿后的帧数差，确定平均帧数差；
22、在平均时间差和平均帧数差满足预设稳定条件的情况下，基于相机和追踪系统之间的最新时间差和最新帧数差，对追踪系统进行补偿，将跟踪系统和相机同步对齐。
23、在第一方面的一些实现方式中，使用相机对应获取移动的标定板在相机坐标系下的位姿，包括：
24、获取标定板的尺寸信息，并使用相机获取移动的完整标定板对应的目标帧图像数据；
25、基于目标帧图像数据，确定标定板在相机坐标系下的角点位置；
26、基于标定板的尺寸信息和标定板在相机坐标系下的角点位置，使用n点透视定位pnp算法确定标定板在相机坐标系下的位姿。
27、在第一方面的一些实现方式中，预设稳定条件包括平均时间差小于预设稳定时间差阈值且平均帧数差小于预设稳定帧数差阈值。
28、根据本公开的第二方面，提供了一种跟踪系统和相机对齐的装置，该装置包括：
29、位姿获取模块，用于使用相机获取移动的标定板在相机坐标系下的位姿；
30、位姿获取模块，还用于使用跟踪系统获取移动的标定板在跟踪系统坐标系下的位姿；
31、处理模块，用于根据标定板在相机坐标系和跟踪系统坐标系下的位姿、相机在跟踪系统坐标系下的位姿、跟踪系统和相机的帧率，确定相机和追踪系统之间的时间差和帧数差；
32、对齐模块，用于基于相机和追踪系统之间的时间差和帧数差，将跟踪系统和相机同步对齐。
33、根据本公开的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理器，存储器上存储有计算机程序，处理器执行程序时实现如以上的方法。
34、根据本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现如根据本公开第一方面，以及第一方面的一些实现方式中的方法。
35、本公开通过使用相机获取移动的标定板在相机坐标系下的位姿；使用跟踪系统获取移动的标定板在跟踪系统坐标系下的位姿；根据标定板在相机坐标系和跟踪系统坐标系下的位姿、相机在跟踪系统坐标系下的位姿、跟踪系统的帧率，确定相机和追踪系统之间的时间差和帧数差；基于相机和追踪系统之间的时间差和帧数差，将跟踪系统和相机同步对齐。通过引入标定板，基于相机和跟踪系统获取标定板在对应的不同坐标系下的位姿，相机在跟踪系统坐标系下的位姿，确定相机和追踪系统之间的时间差和帧数差，便可以将跟踪系统和相机对齐，提高了相机和追踪系统对齐的通用性、便捷性以及准确性，降低了对齐流程的成本。
36、应当理解，
技术实现思路
部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的本文档来自技高网...
【技术保护点】
1.一种跟踪系统和相机对齐的方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据标定板在相机坐标系和跟踪系统坐标系下的位姿、相机在跟踪系统坐标系下的位姿、跟踪系统的帧率，确定相机和追踪系统之间的时间差和帧数差，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于标定板的平均速度、标定板在相机坐标系和跟踪系统坐标系下的位姿、相机在跟踪系统坐标系下的位姿，确定相机和追踪系统之间的时间差，包括：
4.根据权利要求2所述的方法，其特征在于，所述基于相机和追踪系统之间的时间差和帧数差，将跟踪系统和相机同步对齐，包括：
5.根据权利要求4所述的方法，其特征在于，所述分别计算在当前帧以及当前帧的前j-1个帧中各帧最新补偿后的时间差和帧数差满足预设稳定条件的情况下，基于相机和追踪系统之间的最新时间差和最新帧数差，对追踪系统进行补偿，将跟踪系统和相机同步对齐，包括：
6.根据权利要求1所述的方法，其特征在于，使用相机对应获取移动的标定板在相机坐标系下的位姿，包括：
7.根据权利要求4所述的
8.一种跟踪系统和相机对齐的装置，其特征在于，所述装置包括：
9.一种电子设备，其特征在于，包括：
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，
...【技术特征摘要】
1.一种跟踪系统和相机对齐的方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据标定板在相机坐标系和跟踪系统坐标系下的位姿、相机在跟踪系统坐标系下的位姿、跟踪系统的帧率，确定相机和追踪系统之间的时间差和帧数差，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于标定板的平均速度、标定板在相机坐标系和跟踪系统坐标系下的位姿、相机在跟踪系统坐标系下的位姿，确定相机和追踪系统之间的时间差，包括：
4.根据权利要求2所述的方法，其特征在于，所述基于相机和追踪系统之间的时间差和帧数差，将跟踪系统和相机同步对齐，包括：
5.根据权利要求4所述的方法，其特征在于，所述分别计...
【专利技术属性】
技术研发人员：王彬彬，管冬晨，孙德晖，李嘉悦，
申请(专利权)人：北京水木东方医用机器人技术创新中心有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。