一种刚体追踪的方法、装置和系统制造方法及图纸

本发明专利技术公开了一种刚体追踪的方法、装置和系统。该方法包括：获取摄像头采集的刚体的图像，确定图像中的特征点相对于摄像头的三维位置坐标；获取IMU采集的刚体的初始姿态和对应摄像头拍摄时刻的刚体姿态，确定图像特征点的身份信息；根据特征点的身份信息得到匹配的特征点对；根据匹配的特征点对，计算图像中的特征点的旋转和平移信息；根据旋转和平移信息计算光学系统中刚体的位置信息；解决了现有特征匹配算法计算量大、应用场景局限性大等问题，解决了计算机图形学追踪算法由于摄像头获取的图像分辨率不高导致的空间定位精度不高的问题，达到了将基于计算机图形学的追踪算法与IMU的追踪算法进行优势互补的目的，提升了刚体追踪的精确度。

Method, device and system for tracking rigid body

The invention discloses a method and a device for tracking rigid and system. The method comprises: acquiring image rigid camera acquisition, to determine the three-dimensional position coordinates of the camera relative to the feature points in the image acquisition of the IMU acquisition; rigid initial attitude and the corresponding camera rigid body moment, the image feature points are determined according to the characteristics of identity information; the identity information is obtained according to the matching feature points; the matching feature points, calculate the rotation and translation of the information in the image feature point; according to the position information of the rotation and translation of the rigid information in the optical system; solve the existing feature matching algorithm computation, application limitation and so on, to solve the computer graphics tracking algorithm due to the spatial positioning accuracy of the camera to obtain image resolution the result is not high is not high, to be based on tracking algorithm and IMU computer graphics of the chase The tracking algorithm complementary advantages to enhance the tracking accuracy of rigid body.

【技术实现步骤摘要】
一种刚体追踪的方法、装置和系统
本专利技术涉及计算机
，具体涉及一种刚体追踪的方法、装置和系统。
技术介绍
现有的追踪技术可以在不同的物理硬件上以不同的方式进行实现。现有的追踪技术的实现方式主要有以下几种：(一)基于计算机图形学和图像处理技术的单双目RGB相机，IR相机，深度相机等。(二)基于激光，雷达，电磁波，超声波等定位手段。(三)基于IMU的惯性传感单元等。上述追踪技术在追踪算法的实现上各具有优缺点，其中，基于计算机图形学的追踪算法是最广泛使用的算法，有适应范围广，硬件条件低的优点，但是由于图像分辨率不高导致定位的精度不高。基于IMU的追踪有抗干扰能力强，输出稳定的优点，但是IMU在定位方面存在时间漂移问题，导致定位不准确。另外，特征匹配是计算机视觉中的一个基本问题，只要涉及到两幅或者多幅图像时，都会涉及到对应特征的匹配问题。现有的特征匹配主要有以下两种，一种是基于纹理的特征匹配算法，其计算量较大；另外一种是基于射影不变量的特征匹配算法，其对应用场景的限制较高。
技术实现思路
本专利技术提供了一种刚体追踪的方法、装置和系统，以解决现有的基于计算机图形学的追踪算法定位精度不高，IMU由于存在时间漂移导致定位不准确以及现有特征匹配算法计算量大、应用场景局限性大问题。根据本专利技术的一个方面，提供了一种刚体追踪方法，所述刚体包含多个特征点，预存所述刚体上每个特征点的身份信息及相对于所述刚体重心的三维位置信息，在所述刚体上设置惯性测量传感器IMU，所述方法包括：获取摄像头采集的所述刚体运动时的图像，确定所述图像中的所述刚体的特征点相对于摄像头的三维位置坐标；获取所述IMU采集的所述刚体初始状态下的姿态和与所述刚体对应的所述摄像头拍摄时刻的姿态；根据所述刚体初始状态下的姿态、所述摄像头拍摄时刻的姿态和所述预存刚体上每个特征点的身份信息及相对于所述刚体重心的三维位置信息，确定所述图像中所述刚体的特征点的身份信息；根据所述图像中所述刚体的特征点的身份信息，将获取到的所述图像中所述刚体的特征点相对于摄像头的三维位置坐标与预存的刚体上每个特征点相对于所述刚体重心的三维位置信息进行匹配，得到匹配的特征点对；根据所述特征点对，确定所述图像中的特征点相对于初始姿态下的旋转和平移信息；并根据所述旋转和平移信息计算摄像头光学系统中刚体的位置信息。优选地，所述方法还包括：根据所述旋转和平移信息校正所述IMU获取到的摄像头拍摄时刻的所述刚体的姿态。优选地，所述获取摄像头采集的所述刚体运动时的图像，确定所述图像中的所述刚体的特征点相对于摄像头的三维位置坐标包括：根据所述计算得到的图像中特征点相对于摄像头的三维位置坐标计算所述图像中的特征点之间的第一相对距离；根据预存的刚体上每个特征点相对于刚体重心的三维位置信息计算刚体所有特征点之间的第二相对位置距离；将所述第一相对距离与所述第二相对距离进行匹配，去除所述图像特征点中的伪特征点。优选地，所述根据所述旋转和平移信息计算摄像头光学系统中刚体的位置信息包括：根据所述旋转和平移信息计算所述刚体上所有特征点相对于摄像头的三维位置坐标；根据所有特征点相对于摄像头的三维位置坐标计算摄像头光学系统中刚体的位置信息。根据本专利技术的另一个方面，提供了一种刚体追踪的装置，所述刚体包含多个特征点，在所述刚体上设置惯性测量传感器IMU，其特征在于，所述装置包括：存储单元，用于预存所述刚体上每个特征点的身份信息及相对于所述刚体重心的三维位置信息；图像特征点位置坐标确定单元，用于获取摄像头采集的所述刚体运动时的图像，确定所述图像中的所述刚体的特征点相对于摄像头的三维位置坐标；刚体姿态获取单元，用于获取所述IMU采集的所述刚体初始状态下的姿态和与所述刚体对应的所述摄像头拍摄时刻的姿态；图像特征点身份信息确定单元，用于根据所述刚体初始状态下的姿态、所述摄像头拍摄时刻的姿态和所述预存刚体上每个特征点的身份信息及相对于所述刚体重心的三维位置信息，确定所述图像中所述刚体的特征点的身份信息；图像特征点对匹配单元，用于根据所述图像中所述刚体的特征点的身份信息，将获取到的所述图像中所述刚体的特征点相对于摄像头的三维位置坐标与预存的刚体上每个特征点相对于所述刚体重心的三维位置信息进行匹配，得到匹配的特征点对；刚体位置信息确定单元，用于根据所述特征点对，确定所述图像中的特征点相对于初始姿态下的旋转和平移信息；并根据所述旋转和平移信息计算摄像头光学系统中刚体的位置信息。优选地，所述装置还包括刚体姿态校正单元；所述刚体姿态校正单元，用于根据所述旋转和平移信息校正所述IMU获取到摄像头拍摄时刻的刚体的姿态。优选地，所述装置还包括：伪特征点去除单元；所述伪特征点去除单元，用于根据所述计算得到的图像中特征点相对于摄像头的三维位置坐标计算所述图像中的特征点之间的第一相对距离；根据预存的刚体上每个特征点相对于刚体重心的三维位置信息计算刚体所有特征点之间的第二相对位置距离；将所述第一相对距离与所述第二相对距离进行匹配，去除所述图像特征点中的伪特征点。优选地，所述刚体位置信息确定单元，用于根据所述旋转和平移信息计算所述刚体上所有特征点相对于摄像头的三维位置坐标；根据所有特征点相对于摄像头的三维位置坐标计算摄像头光学系统中刚体的位置信息。根据本专利技术的再一个方面，提供了一种刚体追踪的系统，其特征在于，所述系统包括摄像头、刚体和控制端，其中，IMU设置在所述刚体的重心位置；所述摄像头，用于采集所述刚体的图像，并将所述刚体的图像发送至所述控制端；所述IMU，用于采集所述刚体初始状态下的姿态和与所述刚体对应的所述摄像头拍摄时刻的姿态，并将所述姿态发送至所述控制端；所述控制端，用于获取摄像头采集的所述刚体运动时的图像，确定所述图像中的所述刚体的特征点相对于摄像头的三维位置坐标；获取所述IMU采集的所述刚体初始状态下的姿态和与所述刚体对应的所述摄像头拍摄时刻的姿态；根据所述刚体初始状态下的姿态、所述摄像头拍摄时刻的姿态和所述预存刚体上每个特征点的身份信息及相对于所述刚体重心的三维位置信息，确定所述图像中所述刚体的特征点的身份信息；根据所述图像中所述刚体的特征点的身份信息，将获取到的所述图像中所述刚体的特征点相对于摄像头的三维位置坐标与预存的刚体上每个特征点相对于所述刚体重心的三维位置信息进行匹配，得到匹配的特征点对；根据所述特征点对，确定所述图像中的特征点相对于初始姿态下的旋转和平移信息；并根据所述旋转和平移信息计算摄像头光学系统中刚体的位置信息。优选地，所述控制端，还用于根据所述旋转和平移信息校正所述IMU获取到的摄像头拍摄时刻的所述刚体的姿态。本专利技术的有益效果是：本专利技术的技术方案，将基于计算机图形学的追踪算法与基于IMU的追踪算法相融合，首先，获取摄像头采集的刚体运动时的图像，确定所述图像中的所述刚体的特征点相对于摄像头的三维位置坐标；获取所述IMU采集的所述刚体初始状态下的姿态和与所述刚体对应的所述摄像头拍摄时刻的姿态，根据所述刚体初始状态下的姿态、所述摄像头拍摄时刻的姿态和所述预存刚体上每个特征点的身份信息及相对于所述刚体重心的三维位置信息，确定所述图像中所述刚体的特征点的身份信息；根据所述图像中所述刚体的特征点的身份信息，将获取到的所述图像中所述刚本文档来自技高网...

【技术保护点】
一种刚体追踪方法，所述刚体包含多个特征点，预存所述刚体上每个特征点的身份信息及相对于所述刚体重心的三维位置信息，在所述刚体上设置惯性测量传感器IMU，其特征在于，所述方法包括：获取摄像头采集的所述刚体运动时的图像，确定所述图像中的所述刚体的特征点相对于摄像头的三维位置坐标；获取所述IMU采集的所述刚体初始状态下的姿态和与所述刚体对应的所述摄像头拍摄时刻的姿态；根据所述刚体初始状态下的姿态、所述摄像头拍摄时刻的姿态和所述预存刚体上每个特征点的身份信息及相对于所述刚体重心的三维位置信息，确定所述图像中所述刚体的特征点的身份信息；根据所述图像中所述刚体的特征点的身份信息，将获取到的所述图像中所述刚体的特征点相对于摄像头的三维位置坐标与预存的刚体上每个特征点相对于所述刚体重心的三维位置信息进行匹配，得到匹配的特征点对；根据所述特征点对，确定所述图像中的特征点相对于初始姿态下的旋转和平移信息；并根据所述旋转和平移信息计算摄像头光学系统中刚体的位置信息。

【技术特征摘要】
1.一种刚体追踪方法，所述刚体包含多个特征点，预存所述刚体上每个特征点的身份信息及相对于所述刚体重心的三维位置信息，在所述刚体上设置惯性测量传感器IMU，其特征在于，所述方法包括：获取摄像头采集的所述刚体运动时的图像，确定所述图像中的所述刚体的特征点相对于摄像头的三维位置坐标；获取所述IMU采集的所述刚体初始状态下的姿态和与所述刚体对应的所述摄像头拍摄时刻的姿态；根据所述刚体初始状态下的姿态、所述摄像头拍摄时刻的姿态和所述预存刚体上每个特征点的身份信息及相对于所述刚体重心的三维位置信息，确定所述图像中所述刚体的特征点的身份信息；根据所述图像中所述刚体的特征点的身份信息，将获取到的所述图像中所述刚体的特征点相对于摄像头的三维位置坐标与预存的刚体上每个特征点相对于所述刚体重心的三维位置信息进行匹配，得到匹配的特征点对；根据所述特征点对，确定所述图像中的特征点相对于初始姿态下的旋转和平移信息；并根据所述旋转和平移信息计算摄像头光学系统中刚体的位置信息。2.如权利要求1所述的刚体追踪的方法，其特征在于，所述方法还包括：根据所述旋转和平移信息校正所述IMU获取到的摄像头拍摄时刻的所述刚体的姿态。3.如权利要求1所述的刚体追踪的方法，其特征在于，所述获取摄像头采集的所述刚体运动时的图像，确定所述图像中的所述刚体的特征点相对于摄像头的三维位置坐标包括：根据所述计算得到的图像中特征点相对于摄像头的三维位置坐标计算所述图像中的特征点之间的第一相对距离；根据预存的刚体上每个特征点相对于刚体重心的三维位置信息计算刚体所有特征点之间的第二相对位置距离；将所述第一相对距离与所述第二相对距离进行匹配，去除所述图像特征点中的伪特征点。4.如权利要求1所述的刚体追踪的方法，其特征在于，所述根据所述旋转和平移信息计算摄像头光学系统中刚体的位置信息包括：根据所述旋转和平移信息计算所述刚体上所有特征点相对于摄像头的三维位置坐标；根据所有特征点相对于摄像头的三维位置坐标计算摄像头光学系统中刚体的位置信息。5.一种刚体追踪的装置，所述刚体包含多个特征点，在所述刚体上设置惯性测量传感器IMU，其特征在于，所述装置包括：存储单元，用于预存所述刚体上每个特征点的身份信息及相对于所述刚体重心的三维位置信息；图像特征点位置坐标确定单元，用于获取摄像头采集的所述刚体运动时的图像，确定所述图像中的所述刚体的特征点相对于摄像头的三维位置坐标；刚体姿态获取单元，用于获取所述IMU采集的所述刚体初始状态下的姿态和与所述刚体对应的所述摄像头拍摄时刻的姿态；图像特征点身份信息确定单元，用于根据所述刚体初始状态下的姿态、所述摄像头拍摄时刻的姿态和所述预存刚体上每个特征点的身份信息及相对于所述刚体重心的三维位置信息，确定所述图...

【专利技术属性】
技术研发人员：崔珊珊，孙涛，孙恩情，舒玉龙，
申请(专利权)人：北京小鸟看看科技有限公司，
类型：发明
国别省市：北京,11