一种基于无人机多传感器数据融合的林火定位方法及系统技术方案

一种基于无人机多传感器数据融合的林火定位方法及系统，属于林火智能监测与防控技术领域，用以解决现有的林火定位方法无法及时准确地监测到林火位置的问题。本发明专利技术的技术要点包括：通过搭载在无人机上的多个传感器采集图像、无人机位姿和点云数据，并对上述在时间上具有对应关系的数据进行处理，获得火点在世界坐标系下的位置坐标即林火具体位置；其中，利用无人机位姿数据、惯导坐标系与雷达坐标系之间的位姿关系完成点云拼接获得密集点云，解决了点云与图像数据融合过程中点云稀疏甚至缺失的问题，使雷达坐标系中火点空间位置信息更加精确。本发明专利技术适用于实时监测林火，可获得林火发生地的精确位置。火发生地的精确位置。火发生地的精确位置。

【技术实现步骤摘要】
一种基于无人机多传感器数据融合的林火定位方法及系统


[0001]本专利技术涉及林火智能监测与防控
，具体涉及一种基于无人机多传感器数据融合的林火定位方法及系统。

技术介绍

[0002]随着无人机技术的发展，无人机被广泛运用于各个领域。在林火智能监测与防控中，搭载视觉及多种智能传感器的无人机平台开始被广泛使用，其成本低、反应迅速等特点在林火智能监测与防控领域具有极其重要的发展前景。但是现有的无人机林火监测设备多只有拍摄功能，而无火点定位功能，不管是可见光相机、红外相机或双目相机，均无法在全局坐标系下定位出火点位置，且相机采集数据时还会受光线干扰，难以获得准确数据。目前广泛应用的卫星遥感技术做林火全局定位时，容易受到卫星自身周期的限制及天气状况的影响，且在林火蔓延初始阶段，燃烧面积较小，利用卫星遥感技术难以监测到。

技术实现思路

[0003]鉴于以上问题，本专利技术提出一种基于无人机多传感器数据融合的林火定位方法及系统，用以解决现有林火定位方法无法及时准确地监测林火实际位置的问题。
[0004]根据本专利技术一方面，提出一种基于无人机多传感器数据融合的林火定位方法，该方法包括下述步骤：
[0005]步骤一、对无人机上安装的红外热像仪进行内参标定，获取内参矩阵；
[0006]步骤二、对无人机上安装的激光雷达和组合惯导进行联合标定，获取雷达坐标系和惯导坐标系之间的第一坐标转换关系；
[0007]步骤三、对红外热像仪和激光雷达进行联合标定，获取图像坐标系和雷达坐标系之间的第二坐标转换关系；
[0008]步骤四、实时获取红外热像仪、激光雷达和组合惯导采集的、具有时间对应关系的多组数据；所述多组数据包括点云数据、红外图像数据和无人机位姿数据；
[0009]步骤五、根据第一坐标转换关系和无人机位姿数据对点云数据进行拼接，获得密集点云；
[0010]步骤六、对密集点云和图像数据进行融合处理，获得火点在世界坐标系下的位置坐标。
[0011]进一步地，在步骤六之后还包括步骤七、将火点位置与无人机位置在地图上实时标注出来。
[0012]进一步地，步骤三中通过PNP算法获取图像坐标系和雷达坐标系之间的第二坐标转换关系。
[0013]进一步地，步骤五的具体步骤包括：
[0014]步骤五一、建立局部坐标系如下：以第一帧点云数据对应的无人机位置为原点，X轴为世界坐标系Y轴方向，Y轴为世界坐标系X轴方向，Z轴与世界坐标系Z轴方向相反；根据
每一帧点云数据对应的无人机位姿数据计算获得局部坐标系与惯导坐标系之间的第三坐标转换关系；
[0015]步骤五二、根据第一坐标变换关系和第三坐标变换关系计算获得雷达坐标系与局部坐标系之间的第四坐标转换关系；
[0016]步骤五三、根据第四坐标转换关系计算获得每一帧点云数据在局部坐标系中的局部点云坐标；
[0017]步骤五四、根据第一坐标变换关系、第三坐标变换关系和第四坐标转换关系，对局部点云坐标进行逆运算，即将每一帧点云数据在局部坐标系中的位置进行转换，获得密集点云。
[0018]进一步地，在步骤五四之后还包括步骤五五、利用直通滤波将密集点云所在雷达坐标系中沿Y轴方向的离散点云去除。
[0019]进一步地，步骤六的具体步骤包括：
[0020]步骤六一、根据红外图像数据中火点RGB特征，提取出红外图像中的火点像素，从而确定红外图像颜色信息；
[0021]步骤六二、利用第二坐标转换关系和内参矩阵将所述密集点云投影到红外图像上，根据颜色信息确定所述密集点云中的待着色点云；
[0022]步骤六三、将所述颜色信息与所述待着色点云进行关联着色，获得具有红外图像颜色信息的密集点云；
[0023]步骤六四、将具有红外图像颜色信息的密集点云进行坐标转换，获得火点在世界坐标系下的位置坐标。
[0024]进一步地，步骤六四中根据第四坐标转换关系将具有红外图像颜色信息的密集点云进行转换，获得局部坐标系下密集点云局部坐标；再根据局部坐标系与世界坐标系的关系，计算获得火点在世界坐标系下的位置坐标。
[0025]根据本专利技术另一方面，提出一种基于无人机多传感器数据融合的林火定位系统，该系统包括无人机端和地面接收端，所述无人机端包括无人机、搭载于无人机上的多个传感器、数据处理模块和第一无线通信模块；其中，
[0026]所述多个传感器包括红外热像仪、激光雷达、组合惯导；所述红外热像仪用于采集红外图像数据；所述组合惯导用于采集无人机位姿数据；所述激光雷达用于采集点云数据；
[0027]所述数据处理模块用于对红外图像数据、无人机位姿数据和点云数据进行处理，获得火点在世界坐标系下的位置坐标；包括点云拼接子模块和数据融合子模块；
[0028]所述第一无线通信模块用于将红外图像数据、无人机位姿数据、点云数据和火点在世界坐标系下的位置坐标发送至地面接收端；
[0029]所述地面接收端包括显示模块和第二无线通信模块，所述显示模块用于在地图中实时显示并标注火点位置与无人机位置；所述第二无线通信模块用于接收无人机端发送的数据。
[0030]进一步地，所述点云拼接子模块用于根据雷达坐标系和惯导坐标系之间的第一坐标转换关系和无人机位姿数据对点云数据进行拼接，获得密集点云；具体步骤包括：
[0031]建立局部坐标系如下：以第一帧点云数据对应的无人机位置为原点，X轴为世界坐标系Y轴方向，Y轴为世界坐标系X轴方向，Z轴与世界坐标系Z轴方向相反；根据每一帧点云
数据对应的无人机位姿数据计算获得局部坐标系与惯导坐标系之间的第三坐标转换关系；
[0032]根据第一坐标变换关系和第三坐标变换关系计算获得雷达坐标系与局部坐标系之间的第四坐标转换关系；
[0033]根据第四坐标转换关系计算获得每一帧点云数据在局部坐标系中的局部点云坐标；
[0034]根据第一坐标变换关系、第三坐标变换关系和第四坐标转换关系，对局部点云坐标进行逆运算，即将每一帧点云数据在局部坐标系中的位置进行转换，获得密集点云；
[0035]利用直通滤波将密集点云所在雷达坐标系中沿Y轴方向的离散点云去除。
[0036]进一步地，所述数据融合子模块用于对密集点云和红外图像数据进行融合处理，获得火点在世界坐标系下的位置坐标，包括火点识别单元和全局定位单元；具体步骤包括：
[0037]首先，火点识别单元根据红外图像数据中火点RGB特征，提取出红外图像中的火点像素，从而确定红外图像颜色信息；
[0038]然后，利用图像坐标系和雷达坐标系之间的第二坐标转换关系和红外热像仪标定后的内参矩阵，将所述密集点云投影到红外图像上，根据颜色信息确定所述密集点云中的待着色点云；
[0039]然后，将所述颜色信息与所述待着色点云进行关联着色，获得具有红外图像颜色信息的密集点云；
[0040]最后，全局定位单元将具有红外图像颜色信息的密集点云进行坐标转换，获得火点在世界本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于无人机多传感器数据融合的林火定位方法，其特征在于，包括下述步骤：步骤一、对无人机上搭载的红外热像仪进行内参标定，获取内参矩阵；步骤二、对无人机上搭载的激光雷达和组合惯导进行联合标定，获取雷达坐标系和惯导坐标系之间的第一坐标转换关系；步骤三、对红外热像仪和激光雷达进行联合标定，获取图像坐标系和雷达坐标系之间的第二坐标转换关系；步骤四、实时获取红外热像仪、激光雷达和组合惯导采集的、具有时间对应关系的多组数据；所述多组数据包括红外图像数据、点云数据和无人机位姿数据；步骤五、根据第一坐标转换关系和无人机位姿数据对点云数据进行拼接，获得密集点云；步骤六、对密集点云和红外图像数据进行融合处理，获得火点在世界坐标系下的位置坐标。2.根据权利要求1所述的一种基于无人机多传感器数据融合的林火定位方法，其特征在于，在步骤六之后还包括步骤七、将火点位置与无人机位置在地图上实时标注出来。3.根据权利要求2所述的一种基于无人机多传感器数据融合的林火定位方法，其特征在于，步骤三中通过PNP算法获取图像坐标系和雷达坐标系之间的第二坐标转换关系。4.根据权利要求3所述的一种基于无人机多传感器数据融合的林火定位方法，其特征在于，步骤五的具体步骤包括：步骤五一、建立局部坐标系如下：以第一帧点云数据对应的无人机位置为原点，X轴为世界坐标系Y轴方向，Y轴为世界坐标系X轴方向，Z轴与世界坐标系Z轴方向相反；根据每一帧点云数据对应的无人机位姿数据计算获得局部坐标系与惯导坐标系之间的第三坐标转换关系；步骤五二、根据第一坐标变换关系和第三坐标变换关系计算获得雷达坐标系与局部坐标系之间的第四坐标转换关系；步骤五三、根据第四坐标转换关系计算获得每一帧点云数据在局部坐标系中的局部点云坐标；步骤五四、根据第一坐标变换关系、第三坐标变换关系和第四坐标转换关系，对局部点云坐标进行逆运算，即将每一帧点云数据在局部坐标系中的位置进行转换，获得密集点云。5.根据权利要求4所述的一种基于无人机多传感器数据融合的林火定位方法，其特征在于，在步骤五四之后还包括步骤五五、利用直通滤波将密集点云所在雷达坐标系中沿Y轴方向的离散点云去除。6.根据权利要求5所述的一种基于无人机多传感器数据融合的林火定位方法，其特征在于，步骤六的具体步骤包括：步骤六一、根据红外图像数据中火点RGB特征，提取出红外图像中的火点像素，从而确定红外图像颜色信息；步骤六二、利用第二坐标转换关系和内参矩阵将所述密集点云投影到红外图像上，根据颜色信息确定所述密集点云中的待着色点云；步骤六三、将所述颜色信息与所述待着色点云进行关联着色，获得具有红外图像颜色信息的密集点云；
步骤六四、将具有红外图像颜色信息的密集点云进行坐标转换，获得火点在世界坐标系下的位置坐标。7.根据权利要求6所述的一种基于无人机多传感器数据融合的林火定位方法，其特征在于，步骤六四中根据第四坐标转换关系将具有红外图像颜色信息的密集点云进行转换，获得局部坐标系下密集点云局部坐标；再...

【专利技术属性】
技术研发人员：李兴东，肖旭，陈显东，张时雨，刘九庆，
申请(专利权)人：东北林业大学，
类型：发明
国别省市：