一种基于相机和激光雷达的塔吊控制方法及系统技术方案

本发明专利技术提供一种基于相机和激光雷达的塔吊控制方法及系统，通过在塔吊大臂根部、尖部及小车下方布置相应的激光雷达和相机，先对吊钩进行精准定位，再针对检测区域进行三维空间聚类，定位吊物，确定吊物的点云边界和类型，形成相应的避障缓冲区，制定缓冲策略，控制吊钩按避障路径运动，无需对吊钩进行定制，只需在塔吊大臂及小车布置传感系统，即可完成在检测区域中的吊物及障碍物识别与避障；在识别出障碍物后，分类成动态障碍物与静态障碍物，将当前获得的整体点云与历史整体点云进行基于迭代最近点的配准，配准后将静态障碍物点云数据更新到历史整体点云中，动态障碍物不纳入历史整体点云的更新中，实现基础地形的动态更新，减小重复计算量。减小重复计算量。减小重复计算量。

【技术实现步骤摘要】
一种基于相机和激光雷达的塔吊控制方法及系统


[0001]本专利技术属于塔吊自动驾驶
，尤其涉及一种基于相机和激光雷达的塔吊控制方法及系统。

技术介绍

[0002]在智能塔吊领域，自动驾驶是一个很重要方向，有别于通过操作人员在塔吊上控制塔吊运行的方式，自动驾驶可以通过提前设定的程序，在自动控制下，使塔吊自动对障碍物进行避障，并进行动态路径规划。
[0003]智能塔吊的动态路径规划主要有两个输入要素，一是静态地图，主要依赖SLAM方法建立，相对较成熟；二是吊物周边的障碍物信息，目前感知手段主要依赖在吊钩上面加装重量、深度等传感器，稳定性和刚干扰能力差，操作不便。目前的现有技术主要包括以下几个缺点：
[0004]1、用来感知吊物及其周边物体的传感器大部分安装于吊钩，需要对吊钩进行深度定制和改装，成本高，无法进行大规模推广；
[0005]2、吊物的边界无法进行精确判断，目前安装于吊钩的用于吊物感知的传感器主要包括重量传感器、深度传感器等，无法对吊物进行精确的边界判断，因此也就很难进行良好的动态规划。甚至很多时候需要依赖人工数据的输入才能完成自动路径规划逻辑的闭环。
[0006]3、目前对于吊物周围障碍物的类型判断，只能辨别出人、车等典型快变目标，缺乏对其他类型目标的理解，因此无法对基础地形进行快速更新，只能把所有变化都当做是动态障碍物，极大的增加了重复计算量。
[0007]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

[0008]本专利技术的目的在于克服上述现有技术存在的不足，提供一种基于相机和激光雷达的塔吊控制方法及系统，主要用于解决现有技术中在控制塔吊进行自动驾驶时产生的定制成本高、识别精度低、计算量大等问题。
[0009]为了实现上述目的，第一方面，本专利技术提供一种基于相机和激光雷达的塔吊控制方法，包括以下步骤：
[0010]S10、对传感系统进行几何标定，融合点云数据与图像数据形成整体点云，所述传感系统包括位于大臂根部的第一激光雷达模块、位于大臂尖部的第二激光雷达模块、位于小车下方的第三激光雷达模块和相机；
[0011]S20、根据预设的吊钩点云模型，在整体点云进行吊钩位置定位，选定以吊钩为参照点的检测区域，提取出吊物的点云和边界；
[0012]S30、识别出吊物的风险因子，根据风险因子确定吊物类型，根据吊物类型与塔吊的运行参数形成避障缓冲区；
[0013]S40、在避障缓冲区内识别障碍物，根据障碍物与吊物之间的距离及吊钩的运动参数制定避障策略，控制吊钩按避障路径运动；
[0014]S50、将障碍物分类成动态障碍物与静态障碍物，将当前获得的整体点云与历史整体点云进行基于迭代最近点的配准，配准后将静态障碍物点云数据更新到历史整体点云中，得到新的静态地图点云。
[0015]在一些实施例中，在步骤S10中，在对传感系统进行几何标定时，包括：
[0016]先在塔吊的底面布置若干个标定点，所述标定点包括交替布置的黑格和白格，所述白格均高于或低于所述黑格一定高度；
[0017]控制传感系统扫描所述标定点，利用激光雷达对黑色和白色的反射率差异与相机的光照差异，提取点云数据中深度图的点云边缘，在图像数据上利用Canny算子提取二维边缘；
[0018]比较点云边缘与二维边缘的距离，得到使该距离最小的相对位姿，以此作为激光雷达和相机间的姿态转换结果，完成传感系统的几何标定和时间同步。
[0019]在一些实施例中，在步骤S10中，在融合点云数据与图像数据形成整体点云时，包括：
[0020]一级配准：根据第一激光雷达模块和第二激光雷达模块的安装位置与角度，将其各自形成的点云数据直接根据标定信息组成粗点云，再根据小车的移动位置及其形成的小车点云，得到小车点云在粗点云中的粗略位置关系旋转R和平移量T；
[0021]二级配准：以粗点云为基准P，小车点云为Q，针对P中的点在Q中找到距离最小的点作为对应点，根据对应点建立P与Q的精准位置关系旋转R`和平移量T`，并利用R`和T`对Q进行变换，得到更新后的小车点云Q`，计算Q`与P中对应点的平均距离，若平均距离小于设定阈值，则停止更新，得到整体点云，反之继续更新。
[0022]在一些实施例中，所述第一激光雷达模块的扫描角度可调，且被配置成面向吊钩扫描；
[0023]所述第二激光雷达模块的扫描角度可调，且被配置成面向吊钩扫描；
[0024]所述第三激光雷达模块和相机均垂直于地面扫描或拍摄。
[0025]在一些实施例中，在步骤S20中，包括：
[0026]根据塔吊运行参数识别出吊钩的位置信息，调整所述第一激光雷达模块和第二激光雷达模块的扫描中心点对准吊钩进行扫描；
[0027]根据预设的吊钩点云模型，在整体点云中，以吊钩的位置中心点作为参照点，向外拓展出一兴趣区，在兴趣区中进行三维模板匹配搜索，确定吊钩精准位置；
[0028]在吊钩下方区域选定一检测区域，针对所述检测区域进行基于欧式距离的三维空间聚类，通过互补视角的三组激光雷达模块，识别出体积最大的联通体，提取出吊物的点云和边界。
[0029]在一些实施例中，在步骤S30中，包括：
[0030]根据所提取出吊物的点云和边界，进行PCA分析，结合三个方向的主成分特征值分布，识别出吊物的风险因子，根据风险因子确定吊物类型；
[0031]若任一方向的特征值与其余两个特征值的差值均大于第一参考距离，则确定具有更大特征值的所述方向为风险因子，并判断吊物为长条状吊物；
[0032]若任二方向的特征值与剩下一个特征值的差值均大于第二参考距离，则确定由具有更大特征值的两个所述方向构成的平面为风险因子，并判断吊物为平面状吊物；
[0033]若三个方向的特征值之间的差值均小于第三参考距离，则确定由三个所述方向构成的立体为风险因子，并判断吊物为块状吊物。
[0034]在一些实施例中，在步骤S30中，根据吊物类型与塔吊的运行参数形成避障缓冲区，包括：
[0035]对于长条状吊物，所形成的避障缓冲区在长条状吊物周向设置的缓冲距离大于其在长条状吊物两端设置的缓冲距离；
[0036]对于平面状吊物，所形成的避障缓冲区在平面状吊物法向设置的缓冲距离大于其在平面状吊物其他方向设置的缓冲距离；
[0037]对于块状吊物，所形成的避障缓冲区在块状吊物各个方向设置的缓冲距离相同。
[0038]在一些实施例中，在步骤S30中，根据吊物类型与塔吊的运行参数形成避障缓冲区，包括：
[0039]在设置缓冲距离时，结合塔吊的运行参数，塔吊的旋转速度越大，同向的横向缓冲距离越大；小车的径向移动速度越大，同向的径向缓冲距离越大；塔吊的垂直放下速度越大，同向的垂向缓冲距离越大；
[0040]所述缓冲距离被配置为当有障碍物沿着该缓冲距离的方向侵入到避障缓冲区时，所述吊物在塔吊的停止响应动作下不碰及障碍本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于相机和激光雷达的塔吊控制方法，其特征在于，包括以下步骤：S10、对传感系统进行几何标定，融合点云数据与图像数据形成整体点云，所述传感系统包括位于大臂根部的第一激光雷达模块、位于大臂尖部的第二激光雷达模块、位于小车下方的第三激光雷达模块和相机；S20、根据预设的吊钩点云模型，在整体点云进行吊钩位置定位，选定以吊钩为参照点的检测区域，提取出吊物的点云和边界；S30、识别出吊物的风险因子，根据风险因子确定吊物类型，根据吊物类型与塔吊的运行参数形成避障缓冲区；S40、在避障缓冲区内识别障碍物，根据障碍物与吊物之间的距离及吊钩的运动参数制定避障策略，控制吊钩按避障路径运动；S50、将障碍物分类成动态障碍物与静态障碍物，将当前获得的整体点云与历史整体点云进行基于迭代最近点的配准，配准后将静态障碍物点云数据更新到历史整体点云中，得到新的静态地图点云。2.如权利要求1所述的一种基于相机和激光雷达的塔吊控制方法，其特征在于，在步骤S10中，在对传感系统进行几何标定时，包括：先在塔吊的底面布置若干个标定点，所述标定点包括交替布置的黑格和白格，所述白格均高于或低于所述黑格一定高度；控制传感系统扫描所述标定点，利用激光雷达对黑色和白色的反射率差异与相机的光照差异，提取点云数据中深度图的点云边缘，在图像数据上利用Canny算子提取二维边缘；比较点云边缘与二维边缘的距离，得到使该距离最小的相对位姿，以此作为激光雷达和相机间的姿态转换结果，完成传感系统的几何标定和时间同步。3.如权利要求2所述的一种基于相机和激光雷达的塔吊控制方法，其特征在于，在步骤S10中，在融合点云数据与图像数据形成整体点云时，包括：一级配准：根据第一激光雷达模块和第二激光雷达模块的安装位置与角度，将其各自形成的点云数据直接根据标定信息组成粗点云，再根据小车的移动位置及其形成的小车点云，得到小车点云在粗点云中的粗略位置关系旋转R和平移量T；二级配准：以粗点云为基准P，小车点云为Q，针对P中的点在Q中找到距离最小的点作为对应点，根据对应点建立P与Q的精准位置关系旋转R`和平移量T`，并利用R`和T`对Q进行变换，得到更新后的小车点云Q`，计算Q`与P中对应点的平均距离，若平均距离小于设定阈值，则停止更新，得到整体点云，反之继续更新。4.如权利要求3所述的一种基于相机和激光雷达的塔吊控制方法，其特征在于，所述第一激光雷达模块的扫描角度可调，且被配置成面向吊钩扫描；所述第二激光雷达模块的扫描角度可调，且被配置成面向吊钩扫描；所述第三激光雷达模块和相机均垂直于地面扫描或拍摄。5.如权利要求4所述的一种基于相机和激光雷达的塔吊控制方法，其特征在于，在步骤S20中，包括：根据塔吊运行参数识别出吊钩的位置信息，调整所述第一激光雷达模块和第二激光雷达模块的扫描中心点对准吊钩进行扫描；根据预设的吊钩点云模型，在整体点云中，以吊钩的位置中心点作为参照点，向外拓展
出一兴趣区，在兴趣区中进行三维模板匹配搜索，确定吊钩精准位置；在吊钩下方区域选定一检测区域，针对所述检测区域进行基于欧式距离的三维空间聚类，通过互补视角的三组激光雷达模块，识别出体积最大的联通体，提取出吊物的点云和边界。6.如权利要求5所述的一种基于相机和激光雷达的塔吊控制方法，其特征在于，在步骤S30中，包括：根据所提取出吊物的点云和边界，进行PCA分析，结合三个方向的主成分特征值分布，识别出吊物...

【专利技术属性】
技术研发人员：葛晓东，安民洙，米文忠，黄瑜盛，庞山东，
申请(专利权)人：广东光速智能设备有限公司，
类型：发明
国别省市：