基于立体视觉的桥式吊车的摆角测量方法技术

本发明专利技术提供了一种基于立体视觉的桥式吊车的摆角测量方法，通过双目相机采集包含桥式吊车钢绳的左目图像和右目图像；在所述左目图像和右目图像中，确定桥式吊车钢绳的跟踪点在图像坐标系中的坐标位置；根据所述跟踪点在图像坐标系中的坐标位置，确定所述跟踪点在世界坐标系中的坐标位置；根据所述跟踪点在世界坐标系中的坐标位置，获取所述桥式吊车钢绳的摆角。本发明专利技术的双目相机是固定在台车上的，保证了台车与相机的稳定关系，且双目相机能够直接获取图像的深度信息，无需考虑图像连续帧的平滑关系对测量结果造成的影响。具有计算量较小、运算速度快、较强的抗干扰性能、且实时准确的特点，能够适应不同的环境变化，能够满足工业上的生产需求。

Measurement Method of Swing Angle of Bridge Crane Based on Stereo Vision

The invention provides a method for measuring the swing angle of a bridge crane based on stereo vision, which collects the left eye image and the right eye image including the bridge crane steel rope through a binocular camera, determines the coordinate position of the tracking point of the bridge crane steel rope in the image coordinate system in the left eye image and the right eye image, and determines the location according to the coordinate position of the tracking point in the image coordinate system. The coordinate position of the tracking point in the world coordinate system is described. According to the coordinate position of the tracking point in the world coordinate system, the swing angle of the steel rope of the bridge crane is obtained. The binocular camera of the invention is fixed on the trolley to ensure the stable relationship between the trolley and the camera, and the binocular camera can obtain the depth information of the image directly without considering the influence of the smooth relationship of the continuous frames of the image on the measurement results. It has the characteristics of small calculation, fast operation, strong anti-jamming performance and real-time accuracy. It can adapt to different environmental changes and meet industrial production needs.

【技术实现步骤摘要】
基于立体视觉的桥式吊车的摆角测量方法
本专利技术涉及工程测量
，具体地，涉及一种基于立体视觉的桥式吊车的摆角测量方法。
技术介绍
在工业生产中，桥式吊车因其负载能力强，工作可靠等优点得到了广泛的应用。但在实际运行时，会因台车移动而造成吊车摆动，这是工业现场中一项较大的安全隐患。因此需要设计一种自动化的装置，可以提供较好精度的摆角测量结果，提供给台车驾驶员辅助驾驶。现在常用的电学的测量方法容易受到电磁干扰和机械磨损，受环境因素影响较多。目前，基于机器视觉的方法主要的是用于测量二维平面里吊车摆角的问题。在户外工作环境中，影响因素会比较多，比如大风等天气。吊车晃动的过程是随机的，并不一定是在一个固定平面上运动。钢丝绳吊起物体后吊绳是在三维环境中摆动的。常见的基于单目相机的测量方法只是测量到摆角映射在相机所对平面的角度，并不是准确的摆角。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种基于立体视觉的桥式吊车的摆角测量方法。根据本专利技术提供的一种基于立体视觉的桥式吊车的摆角测量方法，包括：通过双目相机采集包含桥式吊车钢绳的左目图像和右目图像；在所述左目图像和右目图像中，确定桥式吊车钢绳的跟踪点在图像坐标系中的坐标位置；根据所述跟踪点在图像坐标系中的坐标位置，确定所述跟踪点在世界坐标系中的坐标位置；根据所述跟踪点在世界坐标系中的坐标位置，获取所述桥式吊车钢绳的摆角。可选地，所述双目相机，固定设置于桥式吊车的台车中心位置，且所述双目相机的镜头正对于桥式吊车钢绳所在平面。可选地，在确定桥式吊车钢绳的跟踪点在图像坐标系中的坐标位置之前，还包括：根据粗糙细化深度神经网络(CFN，Coarse-FineNetwork)，在所述左目图像和右目图像中确定符合预设条件的特征点，作为桥式吊车钢绳的跟踪点。其中，粗糙细化深度神经网络网络与其他神经网络的区别在于包含了3个粗糙检测器和一个精细的检测器。3个粗糙检测器分别采用不同深度的网络层。浅层的网络通常可以对容易检测出来的部位能够很好地定位，深层的网络能够对目标的关键点有很好的定位效果。图像经过这3个粗糙检测器提取特征后，特征信息被联结输送到精细的检测器中进行整体的训练，辨别预设的跟踪点。可选地，所述特征点的个数为N；其中，N为大于1，且小于10的自然数。可选地，根据所述跟踪点在图像坐标系中的坐标位置，确定所述跟踪点在世界坐标系中的坐标位置，包括：将所述跟踪点在左目图像和右目图像中的坐标位置分别记为P1(u1，v1)和P2(u2，v2)；获取双目相机的镜头的投影中心距离，并记为基线距b；根据图像坐标系和相机坐标系换算公式，获得跟踪点在相机坐标系中的坐标位置B(x1，y1，z1)；其中，图像坐标系和相机坐标系换算公式为：其中，d为跟踪点的位置差，d＝u1-u2，f为双目相机的焦距；x1，y1，z1分别为以相机为原点观察到的世界坐标中x，y，z轴方向上的空间坐标，u1为相机所拍平面图像中的水平方向上坐标；v1为相机所拍平面图像中的竖直方向上的坐标；在公式中，双目相机的固有参数焦距f、基准线b是已知的。在实际使用中跟踪点在图像坐标系中的坐标u、v能够直接测量达到，由于d＝u1-u2，因而也能够直接得到。如图3所示，跟踪点分别与双目相机的两个镜头，左右两目相机拍摄跟踪点图片空间中两点均构成三角形。并且两个三角形为相似三角形，通过三角视差法，能够计算出跟踪点在以双目相机为原点坐标系中的空间坐标。根据相机坐标系和世界坐标系换算关系，确定跟踪点在世界坐标系中的坐标位置B′(x1+x0，y1，z1)；其中，双目相机的坐标为A(x0，0，0)，x0为双目相机中心位置距离吊桥中心点的距离；所述世界坐标系以吊桥中心点为原点，双目相机的镜头所对平面为空间坐标系的XOY平面，台车前进方向为Z轴方向。可选地，根据所述跟踪点在世界坐标系中的坐标位置，获取所述桥式吊车钢绳的摆角，包括：运用三角函数定理，获得桥式吊车钢绳的摆角θ；其中，摆角的计算公式为：可选地，所述双目相机的个数为1个。与现有技术相比，本专利技术具有如下的有益效果：本专利技术提供的基于立体视觉的桥式吊车的摆角测量方法，通过双目相机采集包含桥式吊车钢绳的左目图像和右目图像；在所述左目图像和右目图像中，确定桥式吊车钢绳的跟踪点在图像坐标系中的坐标位置；根据所述跟踪点在图像坐标系中的坐标位置，确定所述跟踪点在世界坐标系中的坐标位置；根据所述跟踪点在世界坐标系中的坐标位置，获取所述桥式吊车钢绳的摆角。本专利技术的双目相机是固定在台车上的，保证了台车与相机的稳定关系，且双目相机能够直接获取图像的深度信息，无需考虑图像连续帧的平滑关系对测量结果造成的影响。具有计算量较小、运算速度快、较强的抗干扰性能、且实时准确的特点，能够适应不同的环境变化，能够满足工业上的生产需求。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1为本专利技术实施例提供的应用场景示意图；图2为本专利技术实施例提供的运动空间坐标系的示意图；图3为本专利技术实施例提供的双目立体成像的原理示意图。图中：1-桥式吊车，2-移动台车，3-双目相机，4-吊车钢绳，5-摄像头，6-图像坐标系，7-台车固定点。具体实施方式下面结合具体实施例对本专利技术进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本专利技术，但不以任何形式限制本专利技术。应当指出的是，对本领域的普通技术人员来说，在不脱离本专利技术构思的前提下，还可以做出若干变化和改进。这些都属于本专利技术的保护范围。图1为本专利技术实施例提供的应用场景示意图，如图1所示，1为桥式吊车，2为移动台车，3为双目相机，4为吊车钢绳。双目相机3位于移动台车2中间位置，同时对两根吊车钢绳4上的特征点进行跟踪与定位。双目相机3置于台车中心点位置，且双目相机3的两只镜头对准桥式吊车的一对钢绳所在平面位置。本专利技术的工作原理在于利用机器视觉描述钢绳上跟踪点的空间位置，进而求得吊车摆角。具体地，通过双目相机收集吊车上钢丝绳的图像信息，通过粗糙-细化深度神经网络(CFN)选取少数特征点进行跟踪和定位。当机器吊起货物钢绳发生晃动时，双目相机所观测到的图像信息产生变化。专利技术中使用三角视差法计算图像关键帧中跟踪点处像素点空间位置，求得吊车在不同时刻的摆动角度。步骤1：获取吊绳关键位置的选取，确定初始跟踪点。为了解决关键点定位的鲁棒性问题，本专利技术采用了一种粗糙细化深度神经网络(CFN，Coarse-FineNetwork)，在深度卷积神经网络中对钢绳上的关键点定位进行多层叠加。该网络具有3个不同深度的分支，以获得分层的特征表示。然后在每个特征的分支上构建了一个不同网络深度的粗糙检测器，用于提取粗糙特征。网络的后端连接一个以所有分支的特征为输入的精细检测器。所构造的检测器具有不同的定位能力，具有互补性。选取特征点的方法采用CFN网络选择少数精确特征点进行跟踪，特征点个数不超过10个，该方法只选取少量关键的特征点，计算量较小，运算速度快。步骤2：构造运动空间，确定特征点位置图2为本专利技术实施例提供的运动空间坐标系的示意图，如图2所示，构建运动空间的坐标系，以双目相机所在处为原点位置。相机所面对平面为XOY平面，正对两根钢丝吊绳，台车运动方向为Z轴。双本文档来自技高网...

【技术保护点】
1.一种基于立体视觉的桥式吊车的摆角测量方法，其特征在于，包括：通过双目相机采集包含桥式吊车钢绳的左目图像和右目图像；在所述左目图像和右目图像中，确定桥式吊车钢绳的跟踪点在图像坐标系中的坐标位置；根据所述跟踪点在图像坐标系中的坐标位置，确定所述跟踪点在世界坐标系中的坐标位置；根据所述跟踪点在世界坐标系中的坐标位置，获取所述桥式吊车钢绳的摆角。

【技术特征摘要】
1.一种基于立体视觉的桥式吊车的摆角测量方法，其特征在于，包括：通过双目相机采集包含桥式吊车钢绳的左目图像和右目图像；在所述左目图像和右目图像中，确定桥式吊车钢绳的跟踪点在图像坐标系中的坐标位置；根据所述跟踪点在图像坐标系中的坐标位置，确定所述跟踪点在世界坐标系中的坐标位置；根据所述跟踪点在世界坐标系中的坐标位置，获取所述桥式吊车钢绳的摆角。2.根据权利要求1所述的基于立体视觉的桥式吊车的摆角测量方法，其特征在于，所述双目相机，固定设置于桥式吊车的台车中心位置，且所述双目相机的镜头正对于桥式吊车钢绳所在平面。3.根据权利要求1所述的基于立体视觉的桥式吊车的摆角测量方法，其特征在于，在确定桥式吊车钢绳的跟踪点在图像坐标系中的坐标位置之前，还包括：根据粗糙细化深度神经网络，在所述左目图像和右目图像中确定符合预设条件的特征点，作为桥式吊车钢绳的跟踪点。4.根据权利要求3所述的基于立体视觉的桥式吊车的摆角测量方法，其特征在于，所述特征点的个数为N；其中，N为大于1，且小于10的自然数。5.根据权利要求1所述的基于立体视觉的桥式吊车的摆角测量方法，其特征在于，根据所述跟踪点在图像坐标系中的坐标位置，确定所述跟踪点在世界坐标系中的坐标位置，包括：将所述跟踪点在左目图像和右目图像...

【专利技术属性】
技术研发人员：李威，马向华，
申请(专利权)人：上海应用技术大学，
类型：发明
国别省市：上海,31