【技术实现步骤摘要】
本专利技术涉及无人机大视场目标检测，尤其涉及一种联合sar、可见光传感器和红外传感器的无人机大视场目标检测方法及系统。
技术介绍
1、无人机技术已在民用领域和军用领域得到了广泛的应用。在军事领域，无人机可执行军事目标侦察监视打击、战场态势感知和作战效能评估等多方面任务；在民用领域，无人机已广泛应用于户外航拍、物流运输、智慧交通、营区监控、野外人员搜救和地质灾害救援等任务。当前无人机搭载的传感器主要包括可见光传感器和红外传感器。近年来，轻量化sar（synthetic aperture radar，合成孔径雷达）传感器逐渐应用至无人机领域，进一步拓展了无人机技术的应用范围。
2、sar成像不受浓雾、雨雪等不良天气的影响，能够穿透云层，不怕浓烟等复杂场景；sar成像能够大范围大视场成像，适合大范围区域目标搜寻和检测，但其图像不够直观，很难直接完成图像解译。无人机中的光电吊舱常常安装可见光传感器和红外传感器，无人机光电吊舱对大范围场景的目标区域搜寻效率较低，很难高效完成大视场范围目标侦察工作，且可见光图像容易受到浓烟，浓雾和厚云层的干扰，无法清晰成像，红外图像容易受到火光等干扰影响。联合sar、可见光传感器和红外传感器能够充分利用不同模态的优势，适合大视场范围内目标的高效检测。现有技术中，首先完成sar、可见光和红外图像之间的配准，然后在配准好的sar、可见光和红外图像上进行图像像素级、特征级和决策级的融合，实现sar、可见光与红外图像的目标检测。然而，无人机获取的sar和可见光图像差异较大，无法实现自动配准，需要手工选择
3、因此，亟需一种新的技术方案，用以解决如何进行无人机大视场目标检测高效作业的技术问题。
技术实现思路
1、本专利技术提供了一种联合sar、可见光传感器和红外传感器的无人机大视场目标检测方法及系统，用以解决如何进行无人机大视场目标检测高效作业的技术问题。
2、为实现上述目的，本专利技术提供了一种联合sar、可见光传感器和红外传感器的无人机大视场目标检测方法，包括以下步骤：
3、s1、获取目标区域sar成像，得到第一图像集；根据第一图像集得到第二图像集；第二图像集包括含目标标注的sar图像。
4、s2、根据第二图像集得到第一数据集；第一数据集包括目标经纬度信息。
5、s3、根据第一数据集将可见光传感器和红外传感器锁定目标，进行可见光成像和红外成像，分别得到第三图像集和第四图像集。
6、s4、根据第三图像集得到第五图像集；根据第四图像集得到第六图像集；第五图像集包括含目标标注的可见光图像；第六图像集包括含目标标注的红外图像。
7、s5、根据第一条件将第五图像集和第六图像集进行融合，得到第七图像集，完成目标检测；第七图像集包括含目标标注的图像。
8、优选的，根据第一图像集得到第二图像集包括：
9、根据第一图像集结合第一模型得到第二图像集；第一模型包括训练完成的sar图像目标检测模型。
10、根据第一图像集结合第一模型得到第二图像集包括：
11、将第一图像集中的每张图像按预设的第一重叠度裁剪为预设尺寸的切片图像，每张图像的切片图像归为同一组，得到第一输入。
12、将第一输入中的每组切片图像依次输入第一模型进行推理；直至将第一输入中的图像全部输入第一模型。
13、第一模型在推理单组切片图像后得到切片图像结果集，并将切片图像结果集中的切片图像结果依照第一重叠度进行拼接，得到模型输出结果。
14、第一模型推理完第一输入后，得到第二图像集。
15、优选的，还包括：
16、第一模型的训练过程，包括：
17、构建sar图像目标检测模型。
18、获取随机目标区域的sar成像，并预标注图像中的目标，得到第八图像集。
19、将第八图像集按预设比例进行划分，得到第一训练集和第一测试集；并将第一训练集中的图像裁剪为预设尺寸的切片图像。
20、根据第一训练集训练sar图像目标检测模型。
21、根据第一测试集测试sar图像目标检测模型，若测试满足预设条件，则输出为训练完成的sar图像目标检测模型，即第一模型。
22、若测试不满足预设条件，则返回重新训练sar图像目标检测模型，直至测试满足预设条件。
23、优选的，根据第二图像集得到第一数据集包括：
24、根据第二图像集结合第二模型得到第一数据集；第二模型包括含经纬度坐标的sar后处理图像和用于将第二图像集与含经纬度坐标的sar后处理图像配准的配准模型。
25、根据第二图像集结合第二模型得到第一数据集包括：
26、通过配准模型将第二图像集与含经纬度坐标的sar后处理图像进行配准，得到目标经纬度信息，即第一数据集。
27、优选的，配准模型包括：
28、第一分支和第二分支；
29、第一分支为特征点检测头分支：输入图像经过下采样，得到大小为的第一特征图；提取第一特征图的特征；增加一个通道，第一特征图大小变为；检测第一特征图的特征点，得到特征点的热力图。
30、第二分支为描述符检测头分支：输入图像经过两次下采样，第一次下采样得到大小的第二特征图，第二次下采样得到大小的第二特征图；对大小的第二特征图进行描述符检测；通过两次上采样恢复第二特征图大小至输入图像大小；下采样和上采样之间通过跳跃连接层连接。
31、在第一分支和第二分支之后，将第一分支结果和第二分支结果相加，得到最终的特征点匹配结果，即用于将第二图像集与含经纬度坐标的sar后处理图像进行配准的模型的结果。
32、优选的，根据第一数据集将可见光传感器和红外传感器锁定目标包括：
33、根据第一数据集进行光学图像目标定位逆解算，得到可见光传感器和红外传感器锁定目标区域所需调整的俯仰角和偏航角信息，包括：
34、；
35、其中，分别表示目标点的经度，纬度和海拔；表示从wgs-84坐标系转换至ecef坐标系；表示无人机平台在wgs-84坐标系下经纬度坐标转换到ecef坐标系下的坐标；表示拍摄的图像中目标点对应的单位方向向量转换到ecef坐标系下的单位方向向量；已知目标点与相机间的垂直相对高度后能够求得对应的值。
36、根据俯仰角和偏航角信息调整可见光传感器和红外传感器，将可见光传感器和红外传感器锁定目标。
37、优选的，根据第三图像集得到第五图像集包括：
38、根据第三图像集结合第三模型得到第五图像集；第三模型包括训练完成的可见光图像目标检测模型。
39、第三模型的训练过程包括：
40、构建可见光图像目标检测模型。
【技术保护点】
1.一种联合SAR、可见光传感器和红外传感器的无人机大视场目标检测方法，其特征在于，包括以下步骤：
2.根据所述权利要求1所述的联合SAR、可见光传感器和红外传感器的无人机大视场目标检测方法，其特征在于，根据所述第一图像集得到第二图像集包括：
3.根据所述权利要求2所述的联合SAR、可见光传感器和红外传感器的无人机大视场目标检测方法，其特征在于，还包括：
4.根据所述权利要求3所述的联合SAR、可见光传感器和红外传感器的无人机大视场目标检测方法，其特征在于，根据所述第二图像集得到第一数据集包括：
5.根据所述权利要求4所述的联合SAR、可见光传感器和红外传感器的无人机大视场目标检测方法，其特征在于，所述配准模型包括：
6.根据所述权利要求5所述的联合SAR、可见光传感器和红外传感器的无人机大视场目标检测方法，其特征在于，根据所述第一数据集将可见光传感器和红外传感器锁定目标包括：
7.根据所述权利要求6所述的联合SAR、可见光传感器和红外传感器的无人机大视场目标检测方法，其特征在于，根据所述第三图像集得到第五图
8.根据所述权利要求7所述的联合SAR、可见光传感器和红外传感器的无人机大视场目标检测方法，其特征在于，根据所述第四图像集得到第六图像集包括：
9.一种联合SAR、可见光传感器和红外传感器的无人机大视场目标检测系统，用于权利要求1至8任一项所述的方法，其特征在于，所述系统包括无人机、SAR、光电吊舱、边缘计算平台和信息中转平台；
...【技术特征摘要】
1.一种联合sar、可见光传感器和红外传感器的无人机大视场目标检测方法，其特征在于，包括以下步骤：
2.根据所述权利要求1所述的联合sar、可见光传感器和红外传感器的无人机大视场目标检测方法，其特征在于，根据所述第一图像集得到第二图像集包括：
3.根据所述权利要求2所述的联合sar、可见光传感器和红外传感器的无人机大视场目标检测方法，其特征在于，还包括：
4.根据所述权利要求3所述的联合sar、可见光传感器和红外传感器的无人机大视场目标检测方法，其特征在于，根据所述第二图像集得到第一数据集包括：
5.根据所述权利要求4所述的联合sar、可见光传感器和红外传感器的无人机大视场目标检测方法，其特征在于，所述配准模型包括：
...【专利技术属性】
技术研发人员：童小钟，苏绍璟，左震，黄思洋，赵宗庆，李灿，魏俊宇，孙晓永，吴鹏，胡柳顺，郭润泽，黄泓赫，钱翰翔，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。