一种智能化龙门吊的吊具位姿确定方法技术

本发明专利技术公开了一种智能化龙门吊的吊具位姿确定方法，其包括构建龙门吊数字模型并构建摄像头模块，进而获取龙门吊吊具下降视角视频序列并构建龙门吊视图数据训练集；对龙门吊视图数据训练集进行角柱标定，获得标定角柱值；将视图数据训练集输入到神经网络中，利用损失函数进行角柱检测，获得角柱位置值；分割角柱位置值，获得角柱像素空间位置；利用三点模型获得吊具的深度值，通过尺度估计对吊具长度值、宽度值进行估计，用于调整吊具位姿；通过龙门吊视图数据训练集对角柱像素空间位、吊具的深度值、长度值和宽度值的对比从而判断吊具四个角柱是否对准集装箱。本发明专利技术通过角柱标定和神经网络训练，减小定位误差，无需依靠人工目测进行吊具调节。测进行吊具调节。测进行吊具调节。

【技术实现步骤摘要】
一种智能化龙门吊的吊具位姿确定方法


[0001]本专利技术涉及智能龙门吊领域，尤其涉及一种智能化龙门吊的吊具位姿确定方法。

技术介绍

[0002]目前龙门吊在集装箱堆场中的箱区、箱位完全靠司机人工操作，人工观察判断箱区、箱位容易产生箱区、箱位识别错误，造成集装箱堆放的信息误差，给集装箱的管理带来了麻烦。同时，龙门吊堆放集装箱的位置完全依赖集卡司机人工目测，没有龙门吊吊具与堆场集装箱准确的定位信息，司机吊起集装箱堆放时，观察吊运的集装箱与堆放集装箱位置有误差时，移动车轮调整龙门吊位置，如此操作降低了装卸速度，影响了装卸效率。

技术实现思路

[0003]本专利技术提供一种智能化龙门吊的吊具位姿确定方法，以克服龙门吊堆放集装箱位置依靠人工目测等技术问题。
[0004]为了实现上述目的，本专利技术的技术方案是：
[0005]一种智能化龙门吊的吊具位姿确定方法，包括以下步骤：
[0006]步骤1、构建龙门吊数字模型；
[0007]步骤2、利用龙门吊数字模型，在龙门吊数字模型中安装虚拟摄像头，通过虚拟摄像头获取龙门吊吊具下降视角视频序列并构建龙门吊视图数据训练集；
[0008]步骤3、对龙门吊视图数据训练集进行角柱标定，获得标定角柱值；
[0009]步骤4、将带有标定角柱值的龙门吊视图数据训练集输入到神经网络中，利用损失函数进行角柱检测，获得角柱位置值；
[0010]步骤5、分割角柱位置值，获得角柱像素空间位置；
[0011]步骤6、通过角柱像素空间位置，利用三点模型获得吊具的深度值，通过尺度估计对吊具长度值、宽度值进行估计，用于调整吊具位姿；
[0012]步骤7、通过龙门吊视图数据训练集对角柱像素空间位、吊具的深度值、长度值和宽度值的对比从而判断吊具四个角柱是否对准集装箱，若对准集装箱则完成吊具位姿确定，若没有对准集装箱则返回步骤6。
[0013]进一步的，所诉步骤4中获得角柱位置值的具体计算公式为：
[0014][0015]其中，loss(object)代表带有标定角柱值的龙门吊视图数据训练集，K代表栅格数量，代表角柱存在遮罩概率，w
i
代表第i个角柱的标定像素宽度，h
i
代表第i个角柱的标定像素高度，x
i
代表第i个角柱的标定像素横坐标，代表第i个角柱的预测横坐标，y
i
代表第i个角柱的标定纵坐标，代表第i个角柱的预测纵坐标，代表第i个角柱的预测像素宽度，代表第i个角柱的预测图像高度，C
i
代表第i个角柱的标定种类，代表第i个角柱的预测种类，代表无角柱遮罩概率，c代表种类的预测概率，classes代表所有种类的集合，p
i
(c)代表角柱类别标定概率，代表角柱类别预测概率。
[0016]进一步的，步骤6中所述利用三点模型获得吊具的深度值具体步骤为：
[0017]步骤6.1、获取任意三个角柱在角柱像素空间位置中坐标，获取任意三个角柱在角柱像素空间位置中坐标的计算公式为：
[0018][0019][0020][0021]其中，角柱像素空间位置中共有四个角柱坐标点；O、A和B分别为任意三个角柱坐标点；X1、Y1和Z1为O点的坐标分量；X2、Y2和Z2为A点的坐标分量；X3、Y3和Z3为B点的坐标分量；
[0022]Position(Z1)为O点的坐标值；Position(Z2)为A点的坐标值；
[0023]Position(Z3)为B点的坐标值；
[0024]步骤6.2、根据三个角柱坐标值获得角柱之间的欧氏距离和角柱构成的角度值，计算欧氏距离和角度值的公式为：
[0025][0026][0027][0028][0029][0030]其中，dis(Z1，Z2)为O点与A点之间的欧氏距离；dis(Z1，Z3)为O点与B点之间的欧氏距离；|OA|为O点与A点的绝对距离；|OB|为O点与B点的绝对距离；为O点与A点的向量；为O点与B点的向量；cos∠AOB为向量与向量构成的角度值；
[0031]步骤6.3、根据角柱之间的欧氏距离和角柱构成的角度值获得吊具的深度值，获得吊具的深度值的计算公式为：
[0032]angle(Z1，Z2，Z3)＝cos∠AOB
[0033][0034]其中，angle(Z1，Z2，Z3)为cos∠AOB的余弦值，g(Z1，Z2，Z3)为吊具的深度值。
[0035]进一步的，步骤4中将带有标定角柱值的龙门吊视图数据训练集输入到ResNet
‑
50神经网络中。
[0036]进一步的，步骤2中在龙门吊数字模型中的吊具下方构建摄像头模块。
[0037]有益效果：本专利技术通过虚拟摄像头获取吊具下降视角的视频序列，并进行角柱标定，并经过神经网络训练利用损失函数进行角柱检测，获得角柱位置值，进而减小定位误差，无需依靠人工目测进行吊具调节；通过三点模型定位吊具角柱之间的距离和位置，进一步提高了识别的准确性，从而提高装卸效率。
附图说明
[0038]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0039]图1为本专利技术吊具位姿确定方法流程图；
[0040]图2为本专利技术龙门吊数字模型示意图；
[0041]图3为本专利技术吊具下降视角视频序列示意图。
[0042]其中，1、吊具。
具体实施方式
[0043]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0044]本实施例提供了一种智能化龙门吊的吊具位姿确定方法，如图1
‑
3，包括以下步骤：
[0045]步骤1、利用3d max软件构建龙门吊数字模型；
[0046]步骤2、利用龙门吊数字模型，在龙门吊数字模型中安装虚拟摄像头，通过虚拟摄像头获取龙门吊吊具下降视角视频序列并构建龙门吊视图数据训练集；
[0047]步骤3、对龙门吊视图数据训练集进行人工角柱标定，获得标定角柱值；
[0048]步骤4、将带有标定角柱值的龙门吊视图数据训练集输入到神经网络中，利用损失函数进行角柱检测，获得角柱位置值；
[0049]步骤5、分割角柱位置值，获得角柱像素空间位置；
[0050]步骤6、通过角柱像素空间位置，利用三点模型获得吊具的深度值，通过尺度估计对吊具长度值、宽度值进行估计，用于调整吊具位姿；
[0051]步骤7本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能化龙门吊的吊具位姿确定方法，其特征在于，包括以下步骤：步骤1、构建龙门吊数字模型；步骤2、在龙门吊数字模型中构建摄像头模块，通过摄像头模块获取龙门吊吊具下降视角视频序列并构建龙门吊视图数据训练集；步骤3、对龙门吊视图数据训练集进行角柱标定，获得标定角柱值；步骤4、将带有标定角柱值的龙门吊视图数据训练集输入到神经网络中，利用损失函数进行角柱检测，获得角柱位置值；步骤5、分割角柱位置值，获得角柱像素空间位置；步骤6、通过角柱像素空间位置，利用三点模型获得吊具的深度值，通过尺度估计对吊具长度值、宽度值进行估计，用于调整吊具位姿；步骤7、通过龙门吊视图数据训练集对角柱像素空间位、吊具的深度值、长度值和宽度值的对比从而判断吊具四个角柱是否对准集装箱，若对准集装箱则完成吊具位姿确定，若没有对准集装箱则返回步骤6。2.如权利要求1所述的一种智能化龙门吊的吊具位姿确定方法，其特征在于，所诉步骤4中获得角柱位置值的具体计算公式为：计算公式为：其中，loss(object)代表带有标定角柱值的龙门吊视图数据训练集，K代表栅格数量，代表角柱存在遮罩概率，w
i
代表第i个角柱的标定像素宽度，h
i
代表第i个角柱的标定像素高度，x
i
代表第i个角柱的标定像素横坐标，代表第i个角柱的预测横坐标，y
i
代表第i个角柱的标定纵坐标，代表第i个角柱的预测纵坐标，代表第i个角柱的预测像素宽度，代表第i个角柱的预测图像高度，C
i
代表第i个角柱的标定种类，代表第i个角柱的
预测种类，代表无角柱遮罩概率，c代表种类的预测概率，classes代表所有种类的集合，p
i
(c)代表角柱类别标定概率，代表角柱类别预测概率。3.如权利要求1...

【专利技术属性】
技术研发人员：吴迪，安泓郡，李春宇，黄子豪，刘旭可，李泽葳，刘雨霏，郭洪辰，刘纪飞，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：