一种基于视觉指引的工程机械的控制系统及其控制方法技术方案

本发明专利技术涉及一种基于视觉指引的工程机械的控制系统及其控制方法，包括：视觉模块，跟踪工程机械的工作部件的工作进程、获取工程机械周边环境和工作目标位置；动作记录模块，对工程机械工作部件工作的动作进行描绘并记录最终停留位置，其中，在出现对工作部件的工作位置进行调整的动作时，将调整的动作记为冗余操作过程，并单独进行记录；数据库模块，储存动作记录模块记录的冗余操作过程、工作部件相对于工程机械的工作位置、工程机械的回转速度、工作部件初始位置和目标位置关系，并对工作动作进行分类；视觉引导模块，引导工程机械的工作部件向工作位置移动。部件向工作位置移动。部件向工作位置移动。

【技术实现步骤摘要】
一种基于视觉指引的工程机械的控制系统及其控制方法


[0001]本专利技术涉及工程机械控制领域，尤其涉及一种基于视觉指引的工程机械的控制系统及其控制方法。

技术介绍

[0002]随着无人驾驶智能汽车技术的不断发展，市场上也逐渐开始出现无人驾驶的工程机械，例如挖掘机，通过多项人工智能技术，使得工程机械的操控难度降低，复杂环境下的工程机械驾驶安全性得以提升。但是，目前无人驾驶工程机械的改进主要还是集中在自主作业模式方面，比如实现自主挖掘、甩方、装车等作业，以及智能承重等功能。面对复杂的工作环境或者陌生的工作环境，依旧需要依靠人工驾驶或者遥控驾驶实现。

技术实现思路

[0003]专利技术目的：
[0004]针对现有技术中，复杂的工作环境或者陌生的工作环境，依旧需要依靠人工驾驶或者遥控驾驶实现的问题，本专利技术提供一种基于视觉指引的工程机械的控制系统及其控制方法。
[0005]技术方案：
[0006]一种基于视觉指引的工程机械的控制系统，包括：
[0007]视觉模块，用于跟踪工程机械的工作部件的工作进程、获取工程机械周边环境以及工作目标位置；
[0008]动作记录模块，用于对工程机械工作部件工作的动作进行描绘并记录最终停留位置，其中，在出现对工作部件的工作位置进行调整的动作时，将调整的动作记为冗余操作过程，并单独进行记录；
[0009]数据库模块，储存动作记录模块记录的冗余操作过程、工作部件相对于工程机械的工作位置、工程机械的回转速度、工作部件初始位置和目标位置关系，并根据机型以及储存的机型相对应的数据对工作动作进行分类；
[0010]视觉引导模块，用于引导工程机械的工作部件向工作位置移动。
[0011]作为本专利技术的一种优选方式，针对工程机械本体，设定参数包括：空间三维坐标系、回转中心轴以及工作部件的工作坐标系；
[0012]其中，所述空间三维坐标系为空间直角坐标系、所述工作部件的工作坐标系为极坐标系。
[0013]作为本专利技术的一种优选方式，所述工作部件的工作坐标系与所述回转中心轴关联，所述工作部件的工作坐标系的极点位于所述回转中心轴上。
[0014]作为本专利技术的一种优选方式，所述空间三维坐标系用于指引工程机械的工作部件的收放运动，所述工作部件的工作坐标系用于指引工程机械的回转运动。
[0015]作为本专利技术的一种优选方式，所述视觉模块用于建立工程机械所在的空间三维坐
标系，工程机械的所述回转中心轴所在的垂直位置为xy平面的中心点、工作目标位置与回转中心轴的连线为x轴；所述红外线模块用于建立工程机械的工作部件的工作坐标系。
[0016]一种基于视觉指引的工程机械的控制方法，采用一种基于视觉追踪的工程机械的控制系统，所述方法包括以下步骤：
[0017]S01：根据视觉模块生成工程机械所在的空间三维坐标系，并确认工程机械的回转中心轴以及工作目标的工作位置；
[0018]S02：根据工作目标的工作位置以及工程机械的回转中心轴确认工程机械的工作部件的尾端至回转中心轴的距离，记为工作距离；
[0019]S03：根据工作距离引导工作部件调整至相应的长度；
[0020]S04：在当前环境下生成工作部件的工作坐标系；
[0021]S05：根据工作目标的工作位置确认工程机械的回转角度；
[0022]S06：根据工程机械的回转角度控制工作部件回转；
[0023]S07：根据视觉模块对工作部件的跟踪控制工作部件进行微调。
[0024]作为本专利技术的一种优选方式，所述S07，在进行微调时，采用视觉引导跟踪算法，且符合以下数学模型：
[0025][0026]其中，Lp：工作部件末端初始位置，local position；
[0027]T：作业目标位置，target；
[0028]Lp*T：工作部件末端运动关系；
[0029]θ：挖掘机回转维度；
[0030]u，v：某一回转维度下的直角坐标系y，z维度；
[0031]m，n，φ：三维度试错域边界。
[0032]作为本专利技术的一种优选方式，对于所述S07中的微调，一次微调完成的判断标准为：
[0033][0034]其中：g：预想运动理想真值，ground truth；
[0035]n：运动过程试错总次数。
[0036]本专利技术实现以下有益效果：
[0037]本专利技术通过视觉模块摄取现场施工状况，从而可以根据实际摄像结果进行无人自动操作，通过视觉追踪对工程机械的工作臂进行实时追踪，并以相应的数学模型对工作臂的动作进行限定，从而可以根据数学模型精确控制工作臂。
附图说明
[0038]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并于说明书一起用于解释本公开的原理。
[0039]图1为本专利技术提供的一种基于视觉指引的工程机械的控制系统的结构图；
[0040]图2为本专利技术提供的一种基于视觉指引的工程机械的控制方法的流程图。
具体实施方式
[0041]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。
[0042]实施例一
[0043]参考图1
‑
2。本实施例提供一种基于视觉指引的工程机械的控制系统，包括：
[0044]视觉模块1，用于跟踪工程机械的工作部件的工作进程、工程机械周边环境以及工作目标位置。
[0045]动作记录模块3，用于对工程机械工作部件工作的动作进行描绘并记录最终停留位置，其中，在出现对工作部件的工作位置进行调整的动作时，将调整的动作记为冗余操作过程，并单独进行记录。
[0046]数据库模块4，储存动作记录模块3记录的冗余操作过程、工作部件相对于工程机械的工作位置、工程机械的回转速度、工作部件初始位置和目标位置关系，并根据机型以及储存的机型相对应的数据对工作动作进行分类。
[0047]视觉引导模块5，用于引导工程机械的工作部件向工作位置移动。
[0048]优选的，针对工程机械本体，设定参数包括：空间三维坐标系、回转中心轴以及工作部件的工作坐标系。
[0049]其中，所述空间三维坐标系为空间直角坐标系、所述工作部件的工作坐标系为极坐标系。
[0050]优选的，所述工作部件的工作坐标系与所述回转中心轴关联，所述工作部件的工作坐标系的极点位于所述回转中心轴上。
[0051]优选的，所述空间三维坐标系用于指引工程机械的工作部件的收放运动，所述工作部件的工作坐标系用于指引工程机械的回转运动。
[0052]优选的，所述视觉模块1用于建立工程机械所在的空间三维坐标系，工程机械的所述回转中心轴所在的垂直位置为xy平面的中心点、工作目标位置与回转中心轴的连线为x轴；所述红外线模块用于建立工程机械的工作部件的工作坐标系。其中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉指引的工程机械的控制系统，其特征在于，包括：视觉模块，用于跟踪工程机械的工作部件的工作进程，获取工程机械周边环境以及工作目标位置；动作记录模块，用于对工程机械工作部件工作的动作进行描绘并记录最终停留位置，其中，在出现对工作部件的工作位置进行调整的动作时，将调整的动作记为冗余操作过程，并单独进行记录；数据库模块，储存动作记录模块记录的冗余操作过程、工作部件相对于工程机械的工作位置、工程机械的回转速度、工作部件初始位置和目标位置关系，并根据机型以及储存的机型相对应的数据对工作动作进行分类；视觉引导模块，用于引导工程机械的工作部件向工作位置移动。2.根据权利要求1所述的一种基于视觉指引的工程机械的控制系统，其特征在于：针对工程机械本体，设定参数包括：空间三维坐标系、回转中心轴以及工作部件的工作坐标系；其中，所述空间三维坐标系为空间直角坐标系、所述工作部件的工作坐标系为极坐标系。3.根据权利要求2所述的一种基于视觉指引的工程机械的控制系统，其特征在于：所述工作部件的工作坐标系与所述回转中心轴关联，所述工作部件的工作坐标系的极点位于所述回转中心轴上。4.根据权利要求3所述的一种基于视觉追踪的工程机械的控制系统，其特征在于：所述空间三维坐标系用于指引工程机械的工作部件的收放运动，所述工作部件的工作坐标系用于指引工程机械的回转运动。5.根据权利要求4所述的一种基于视觉追踪的工程机械的控制系统，其特征在于：所述视觉模块用于建立工程机械所在的空间三维坐标系，工程机械的所述回转中心轴所在的垂直位...

【专利技术属性】
技术研发人员：张彦群，
申请(专利权)人：爱克斯维智能科技苏州有限公司，
类型：发明
国别省市：