目标物跟踪方法、目标物跟踪系统及控制器技术方案

本申请公开了一种目标物跟踪方法、目标物跟踪系统及控制器。该方法包括：获取目标物的目标图像；根据目标图像确定目标物的上表面质心点的像素坐标与上表面整体特征图像；根据图像采集设备的俯仰角度、目标物的上表面质心点的像素坐标和高度确定目标物的上表面质心点的三维物理坐标；根据目标物的上表面质心点的三维物理坐标确定目标物相对图像采集设备光心重垂线的第一偏转角度和第二偏转角度；根据第一偏转角度和第二偏转角度变换目标物的上表面整体特征图像，得到目标物的正视图像；根据正视图像跟踪目标物。本申请能根据偏转角度在远距离大倾斜视角下提取目标正视角度下上表面特征，并在精准定位过程中利用提取的特征精准跟踪定位目标物。精准跟踪定位目标物。精准跟踪定位目标物。

【技术实现步骤摘要】
目标物跟踪方法、目标物跟踪系统及控制器


[0001]本申请涉及目标物跟踪
，具体地涉及一种目标物跟踪方法、目标物跟踪系统及控制器。

技术介绍

[0002]在工程机械领域，通常采用图像采集设备获取被吊载物的图像以确定其位置。图像采集设备在远距离大倾斜视角下拍摄到的为目标物上表面和侧面图像，在正视视角下拍摄到的为目标物上表面图像。因此，两种不同视角下同一物体的图像存在明显差异，提取的图像特征信息也存在明显差异。然而，在自动吊装过程中，目标物的选择往往是在远距离大倾斜视角下进行的，目标物的跟踪定位是在正视视角下进行的，明显的图像特征信息差异容易导致目标物跟踪定位失败，从而无法达到自动化吊装要求。

技术实现思路

[0003]本申请实施例的目的是提供一种目标物跟踪方法、目标物跟踪系统及控制器，用以解决在远距离大倾斜视角下，难以对目标物进行跟踪定位的问题。
[0004]为了实现上述目的，本申请第一方面提供一种目标物跟踪方法，应用于工程机械，工程机械包括臂架和图像采集设备，图像采集设备设置于臂架上，方法包括：
[0005]从图像采集设备采集的图像中获取目标物的目标图像；
[0006]根据目标图像确定目标物的上表面质心点的像素坐标与目标物的上表面整体特征图像；
[0007]根据图像采集设备的俯仰角度、目标物的上表面质心点的像素坐标和目标物的高度确定目标物的上表面质心点的三维物理坐标；
[0008]根据目标物的上表面质心点的三维物理坐标确定目标物相对图像采集设备光心重垂线的第一偏转角度和第二偏转角度；
[0009]根据第一偏转角度和第二偏转角度变换目标物的上表面整体特征图像，得到目标物的正视图像；
[0010]根据正视图像跟踪目标物。
[0011]在本申请实施例中，从图像采集设备采集的图像中获取目标物的目标图像包括：
[0012]获取初始图像，初始图像为图像采集设备采集的图像；
[0013]响应于对目标物的框选输入，从初始图像中确定目标物的目标图像。
[0014]在本申请实施例中，根据目标图像确定目标物的上表面质心点的像素坐标与目标物的上表面整体特征图像包括：
[0015]提取目标图像中的多条边缘轮廓线；
[0016]基于多条边缘轮廓线提取出多个连通区域；
[0017]根据多个连通区域对应的多个质心点的像素坐标，从多个质心点中，确定出目标物的上表面质心点；
[0018]根据与上表面质心点对应的连通区域确定目标物的上表面整体特征图像。
[0019]在本申请实施例中，目标物的上表面质心点的三维物理坐标满足公式(1)：
[0020][0021]其中，x
object
为目标物的上表面质心点的三维物理坐标的X轴坐标，y
object
为目标物的上表面质心点的三维物理坐标的Y轴坐标，h
object
为目标物的上表面质心点的三维物理坐标的Z轴坐标，h为图像采集设备光心点到地面的距离，θ为图像采集设备的俯仰角度，β为图像采集设备在X轴方向的半视场角度，O'A为目标物的上表面中心点到初始图像中心点在X轴上像素值之差，O'D为初始图像宽度的一半，O'A'为目标物的上表面中心点到初始图像中心点在Y轴上像素值之差，O'E为初始图像高度的一半，γ为图像采集设备在Y轴方向的半视场角度，H
object
为目标物的高度，H
armhead
为臂架的臂尖离地高度，H
armcam
为臂架的臂尖到图像采集设备光心的距离。
[0022]在本申请实施例中，目标物相对臂架的臂尖的重垂线的第一偏转角度和第二偏转角度满足公式(2)：
[0023][0024]其中，ω为目标物相对图像采集设备光心重垂线的第一偏转角度，φ为目标物相对图像采集设备光心重垂线的第二偏转角度，x
object
为目标物的上表面质心点的三维物理坐标的X轴坐标，y
object
为目标物的上表面质心点的三维物理坐标的Y轴坐标，h
object
为目标物的上表面质心点的三维物理坐标的Z轴坐标。
[0025]在本申请实施例中，根据第一偏转角度和第二偏转角度及目标物的上表面整体特征图像确定目标物的正视图像包括：
[0026]根据目标物的上表面整体特征图像和第一偏转角度确定第一仿射变换矩阵；
[0027]基于第一仿射变换矩阵对目标物的上表面整体特征图像进行变换以得到目标物的初始正视图像；
[0028]根据目标物的初始正视图像和第二偏转角度确定第二仿射变换矩阵；
[0029]基于第二仿射变换矩阵对初始正视图像进行变换以得到目标物的正视图像。
[0030]在本申请实施例中，根据目标物的上表面整体特征图像和第一偏转角度确定第一仿射变换矩阵包括：
[0031]获取目标物的上表面整体特征图像的四个顶点的第一初始坐标值；
[0032]根据四个顶点的第一初始坐标值和第一偏转角度确定上表面整体特征图像的四个顶点仿射变化后的第一坐标值；
[0033]根据四个顶点仿射变化后的第一坐标值确定第一仿射变换矩阵。
[0034]在本申请实施例中，根据目标物的初始正视图像和第二偏转角度确定第二仿射变
换矩阵包括：
[0035]获取目标物的初始正视图像的四个顶点的第二初始坐标值；
[0036]根据目标物的初始正视图像的四个顶点的第二初始坐标值和第二偏转角度确定目标物的初始正视图像的四个顶点仿射变化后的第二坐标值；
[0037]根据四个顶点仿射变化后的第二坐标值确定第二仿射变换矩阵。
[0038]本申请第二方面提供一种控制器，包括：
[0039]存储器，被配置成存储指令；以及
[0040]处理器，被配置成从所述存储器调用所述指令以及在执行所述指令时能够实现上述的目标物跟踪方法。
[0041]本申请第三方面提供一种目标物跟踪系统，包括：
[0042]图像采集设备，被配置成获取目标物的图像；以及
[0043]上述的控制器。
[0044]本申请第四方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的目标物跟踪方法。
[0045]通过上述技术方案，从图像采集设备采集的图像中获取目标物的目标图像；根据目标图像确定目标物的上表面质心点的像素坐标与目标物的上表面整体特征图像；根据图像采集设备的俯仰角度、目标物的上表面质心点的像素坐标和目标物的高度确定目标物的上表面质心点的三维物理坐标；根据目标物的上表面质心点的三维物理坐标确定目标物相对图像采集设备光心重垂线的第一偏转角度和第二偏转角度；根据第一偏转角度和第二偏转角度变换目标物的上表面整体特征图像，得到目标物的正视图像；根据正视图像跟踪目标物。本申请能根据偏转角度在远距离大倾斜视角下提取目标正视角度下上表面特征，并在精准本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标物跟踪方法，其特征在于，应用于工程机械，所述工程机械包括臂架和图像采集设备，所述图像采集设备设置于所述臂架上，所述方法包括：从所述图像采集设备采集的图像中获取目标物的目标图像；根据所述目标图像确定所述目标物的上表面质心点的像素坐标与所述目标物的上表面整体特征图像；根据所述图像采集设备的俯仰角度、所述目标物的上表面质心点的像素坐标和所述目标物的高度确定所述目标物的上表面质心点的三维物理坐标；根据所述目标物的上表面质心点的三维物理坐标确定所述目标物相对所述图像采集设备光心重垂线的第一偏转角度和第二偏转角度；根据所述第一偏转角度和第二偏转角度变换所述目标物的上表面整体特征图像，得到所述目标物的正视图像；根据所述正视图像跟踪所述目标物。2.根据权利要求1所述的方法，其特征在于，从所述图像采集设备采集的图像中获取目标物的目标图像包括：获取初始图像，所述初始图像为所述图像采集设备采集的图像；响应于对所述目标物的框选输入，从所述初始图像中确定所述目标物的目标图像。3.根据权利要求1所述的方法，其特征在于，所述根据所述目标图像确定所述目标物的上表面质心点的像素坐标与所述目标物的上表面整体特征图像包括：提取所述目标图像中的多条边缘轮廓线；基于所述多条边缘轮廓线提取出多个连通区域；根据多个连通区域对应的多个质心点的像素坐标，从所述多个质心点中，确定出所述目标物的上表面质心点；根据与所述上表面质心点对应的所述连通区域确定所述目标物的上表面整体特征图像。4.根据权利要求1所述的方法，其特征在于，所述目标物的上表面质心点的三维物理坐标满足公式(1)：其中，x
object
为所述目标物的上表面质心点的三维物理坐标的X轴坐标，y
object
为所述目标物的上表面质心点的三维物理坐标的Y轴坐标，h
object
为所述目标物的上表面质心点的三维物理坐标的Z轴坐标，h为所述图像采集设备光心点到地面的距离，θ为所述图像采集设备的俯仰角度，β为所述图像采集设备在X轴方向的半视场角度，O'A为所述目标物的上表面中心点到初始图像中心点在X轴上像素值之差，O'D为所述初始图像宽度的一半，O'A'为所述目标物的上表面中心点到所述初始图像中心点在Y轴上像素值之差，O'E为所述初始图像高度的一半，γ为所述图像采集设备在Y轴方向的半视场角度，H
object
为所述目标物的高度，
H
armhead
为所述臂架的臂尖离地高度，H
armcam
为所述臂架的臂尖...

【专利技术属性】
技术研发人员：徐柏科，杨涛，许培培，范卿，曾杨，
申请(专利权)人：中联重科股份有限公司，
类型：发明
国别省市：