一种基于多目相机的无纹理三维物体跟踪方法及装置制造方法及图纸

本发明专利技术公开了一种基于多目相机的无纹理三维物体跟踪方法及装置，该方法包括：获取第一位姿，其中所述第一位姿为目标物体上一帧在各相机坐标系下的位姿；将所述第一位姿转换到物体中心坐标系下，得到第二位姿；建立所述物体中心坐标系下的相机投影模型；根据所述第二位姿和相机投影模型，建立物体中心坐标系下的联合能量函数；将所述联合能量函数最小化，得到所述物体中心坐标系下的位姿变换增量；将所述位姿变换增量转换到各相机坐标系下并对所述第一位姿进行更新，从而实现物体跟踪。本发明专利技术采用多目跟踪的方法，将各个相机的图像信息与坐标系信息建立在同一框架下，得到更加准确的跟踪结果。的跟踪结果。的跟踪结果。

【技术实现步骤摘要】
一种基于多目相机的无纹理三维物体跟踪方法及装置


[0001]本申请涉及计算机视觉
，尤其涉及一种基于多目相机的无纹理三维物体跟踪方法及装置。

技术介绍

[0002]三维物体跟踪可以在连续视频帧中估计三维物体与相机之间的相对位姿(即位置与姿态)。目前三维跟踪在计算机视觉和增强现实领域中有着广泛的应用场景，例如医学、制造业、机器人和游戏娱乐等领域。
[0003]单目无纹理物体跟踪仅使用2D图像中的物体轮廓或轮廓周围的区域信息，缺乏相机视线方向的信息，因此优化结果会在相机视线方向产生较大误差，不能满足高精度跟踪要求。
[0004]在实现本专利技术的过程中，专利技术人发现现有技术中至少存在如下问题：现有解决方案中，一种是使用深度相机获取深度信息，在相机视线方向产生约束，并使用深度数据迭代优化至最优位姿。但深度相机往往受限于实际的应用场景，例如使用距离受限、不能在室外使用等，并且深度数据在采集时会有数据缺失现象进而影响跟踪精度；另一种解决方案是使用多视角相机提高跟踪精度。多视角相机通过获得各视角下的高质量RGB图像弥补各相机视线方向信息。一些基于特征点的方法使用多视角几何模型提取SIFT（Scale
‑
invariant feature transform，尺度不变特征变换）特征点，然后在多视角相机下建立2D
‑
3D点对应关系优化得到最优位姿，但不适用于无纹理物体。对于多目无纹理物体跟踪，由于无法在物体内部提取稳定的特征点，因此无法使用多视角几何模型直接建立各个相机坐标系之间的联系。目前的解决方案往往使用两步优化策略，首先估计各个相机下的物体位姿，然后在一个统一的世界坐标系下建立并最小化重投影损失误差得到最优位姿。该策略仅在第二步使用了多视角信息，并且该步骤没有使用图像特征，这使得优化过程不能统一坐标系与图像特征信息，限制了优化精度。另外，如果第一步得到的各个单目相机位姿不准确，也会影响二次优化的最终结果。综上所述，深度相机的使用场景受限，现有多目跟踪方法的跟踪精度仍然不足，均不能满足高精度跟踪的要求。

技术实现思路

[0005]本申请实施例的目的是提供一种基于多目相机的无纹理三维物体跟踪方法及装置，以解决相关技术中存在的单目三维物体跟踪精度不足的技术问题。
[0006]根据本申请实施例的第一方面，提供一种基于多目相机的无纹理三维物体跟踪方法，包括：获取第一位姿，其中所述第一位姿为目标物体上一帧在各相机坐标系下的位姿；将所述第一位姿转换到物体中心坐标系下，得到第二位姿；建立所述物体中心坐标系下的相机投影模型；根据所述第二位姿和相机投影模型，建立物体中心坐标系下的联合能量函数；
将所述联合能量函数最小化，得到所述物体中心坐标系下的位姿变换增量；将所述位姿变换增量转换到各相机坐标系下并对所述第一位姿进行更新，从而实现物体跟踪。
[0007]进一步地，获取第一位姿之前，还包括：根据目标物体的遮挡情况，确定相机的数量；标定各相机之间的相对位姿关系，其中所述相对位姿关系用于所述联合能量函数的建立过程中。
[0008]进一步地，根据所述第二位姿和相机投影模型，建立物体中心坐标系下的联合能量函数，包括：根据所述第二位姿和相机投影模型，建立物体中心坐标系下各相机的能量函数；对所述各相机的能量函数进行求和，得到物体中心坐标系下的联合能量函数。
[0009]进一步地，将所述联合能量函数最小化，得到所述物体中心坐标系下的位姿变换增量，包括：根据所述相机投影模型和各相机的能量函数，计算各相机的拍摄图像中各点的雅可比矩阵；根据所述各点的雅克比矩阵，计算所述联合能量函数的雅克比矩阵和海森矩阵；根据所述联合能量函数的雅克比矩阵和海森矩阵，计算物体中心坐标系下的位姿变换增量。
[0010]进一步地，将所述位姿变换增量转换到各相机坐标系下并对目标物体在各相机坐标系下的上一帧位姿进行更新，包括：获取所述物体中心坐标系与各相机坐标系之间的变换关系；将所述位姿变换增量转换到各相机坐标系下；将转换后的位姿变换增量乘以所述第一位姿，作为所述目标物体在各相机坐标系下的当前帧位姿，实现所述第一位姿的更新。
[0011]根据本申请实施例的第二方面，提供一种基于多目相机的无纹理三维物体跟踪装置，包括：获取模块，用于获取第一位姿，其中所述第一位姿为目标物体上一帧在各相机坐标系下的位姿；转换模块，用于将所述第一位姿转换到物体中心坐标系下，得到第二位姿；建模模块，用于建立所述物体中心坐标系下的相机投影模型；建立模块，用于根据所述第二位姿和相机投影模型，建立物体中心坐标系下的联合能量函数；最小化模块，用于将所述联合能量函数最小化，得到所述物体中心坐标系下的位姿变更新模块，用于将所述位姿变换增量转换到各相机坐标系下并对所述第一位姿进行更新，从而实现物体跟踪。
[0012]进一步地，所述建立模块包括：建立子模块，用于根据所述第二位姿和相机投影模型，建立物体中心坐标系下各相机的能量函数；
求和模块，用于对所述各相机的能量函数进行求和，得到物体中心坐标系下的联合能量函数。
[0013]进一步地，所述最小化模块包括：第一计算子模块，用于根据所述相机投影模型和建立所述联合能量函数过程中涉及的单目三维物体跟踪方法，计算各相机的拍摄图像中各点的雅可比矩阵；第二计算子模块，用于根据所述各点的雅克比矩阵，计算所述联合能量函数的雅克比矩阵和海森矩阵；第三计算子模块，用于根据所述联合能量函数的雅克比矩阵和海森矩阵，计算物体中心坐标系下的位姿变换增量。
[0014]根据本申请实施例的第三方面，提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。
[0015]根据本申请实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如第一方面所述方法的步骤。
[0016]本申请的实施例提供的技术方案可以包括以下有益效果：由上述实施例可知，本申请建立以物体中心坐标系为基础坐标系的优化框架，修改相机投影模型、建立联合能量函数并对所述联合能量函数进行最小化，为多目跟踪提供基础；根据物体中心坐标系下的第二位姿和相机投影模型，建立物体中心坐标系下的联合能量函数，将各个相机的图像信息与坐标系信息建立在同一框架下，得到更加准确的跟踪结果；此外，本申请建立的物体中心坐标系与基础跟踪算法无关，可以应用到所有基础跟踪算法中，使任意跟踪算法都可以根据实际需要转换基础坐标系；且本申请不使用深度相机，避免了使用场景受限的问题。
[0017]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0018]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0019]图1是根据一示例性实施例示出的一种基于多目相机的无纹理三维物本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多目相机的无纹理三维物体跟踪方法，其特征在于，包括：获取第一位姿，其中所述第一位姿为目标物体上一帧在各相机坐标系下的位姿；将所述第一位姿转换到物体中心坐标系下，得到第二位姿；建立所述物体中心坐标系下的相机投影模型；根据所述第二位姿和相机投影模型，建立物体中心坐标系下的联合能量函数；将所述联合能量函数最小化，得到所述物体中心坐标系下的位姿变换增量；将所述位姿变换增量转换到各相机坐标系下并对所述第一位姿进行更新，从而实现物体跟踪。2.根据权利要求1所述的方法，其特征在于，获取第一位姿之前，还包括：根据目标物体的遮挡情况，确定相机的数量；标定各相机之间的相对位姿关系，其中所述相对位姿关系用于所述联合能量函数的建立过程中。3.根据权利要求1所述的方法，其特征在于，根据所述第二位姿和相机投影模型，建立物体中心坐标系下的联合能量函数，包括：根据所述第二位姿和相机投影模型，建立物体中心坐标系下各相机的能量函数；对所述各相机的能量函数进行求和，得到物体中心坐标系下的联合能量函数。4.根据权利要求1所述的方法，其特征在于，将所述联合能量函数最小化，得到所述物体中心坐标系下的位姿变换增量，包括：根据所述相机投影模型和各相机的能量函数，计算各相机的拍摄图像中各点的雅可比矩阵；根据所述各点的雅克比矩阵，计算所述联合能量函数的雅克比矩阵和海森矩阵；根据所述联合能量函数的雅克比矩阵和海森矩阵，计算物体中心坐标系下的位姿变换增量。5.根据权利要求1所述的方法，其特征在于，将所述位姿变换增量转换到各相机坐标系下并对目标物体在各相机坐标系下的上一帧位姿进行更新，包括：获取所述物体中心坐标系与各相机坐标系之间的变换关系；将所述位姿变换增量转换到各相机坐标系下；将转换后的位姿变换增量乘以所述第一位姿，作为所述目标物体在各相机坐标系下的当前帧位姿，实现所述第一位姿的更新。6.一种...

【专利技术属性】
技术研发人员：李特，李佳宸，陈文轩，王彬，曹昕，钟凡，秦学英，
申请(专利权)人：之江实验室，
类型：发明
国别省市：