少样本条件下基于三维特效仿真的火箭残骸高空检测方法技术

本发明专利技术涉及少样本条件下基于三维特效仿真的火箭残骸高空检测方法，如下步骤：S1、基于三维特效仿真进行数据增强，具体方法是基于开源的虚幻引擎Unreal Engine(UE)建立一套火箭残骸三维场景模拟图像生成系统；S2、构成火箭残骸目标检测数据集，对所述残骸图片进行标注，所有图片和标注文件构成了火箭残骸目标检测数据集；S3、生成残骸检测模型，对所述火箭残骸目标检测数据集选用最新的One‑Stage端到端目标检测算法YOLOv5进行训练，生成残骸检测模型；S4、压缩裁剪残骸检测模型，植入到资源受限的无人机载嵌入式AI自主识别芯片上。本发明专利技术的方法极大丰富了火箭残骸目标检测数据集，将无人机和深度学习技术结合,实现了火箭残骸快速精准定位。

【技术实现步骤摘要】
少样本条件下基于三维特效仿真的火箭残骸高空检测方法
本专利技术属于人工智能领域，具体涉及少样本条件下基于三维特效仿真的火箭残骸高空检测方法及装置。
技术介绍
残骸目标检测是火箭残骸回收任务中的关键技术之一，无人机在高空飞行过程中实时检测出地面上的火箭残骸后可进行精准回收，快捷高效、无需人力大规模地面搜寻。数据增强是目标检测领域内的一个重要研究方向，因为现阶段先进的目标检测模型如Faster-RCNN、YOLO系列、SSD等都基于深度学习和卷积神经网络实现，其检测精度和效果非常依赖大规模的训练集，所以当训练数据不足时需要使用数据增强的方法扩大数据规模。常规的数据增强方法是对原始图片进行多种仿射变换或简单的图像处理，包括几何、光照变换、添加噪声扰动等，每种变换都能得到一张新图片，以此增加训练集的规模。在火箭残骸目标检测领域，火箭残骸图片极难获取，目前没有相关研究机构针对其构建专门的视觉知识库，少量实际拍摄的图片多为近距离地面拍摄视角，难以应用于高空视角模型的训练。常规的数据增强方法产生的数据量有限，训练样本库的丰富度/代表度仍旧不足，目标检测模型对火箭残骸的识别效果依然欠佳，所以需要一种更有效的数据增强方法扩大火箭残骸数据集的规模，提升残骸目标检测模型的效果。
技术实现思路
针对上述背景中火箭残骸数据集样本少，残骸目标检测效果差的问题，本专利技术提出一种少样本条件下基于三维特效仿真的火箭残骸高空检测方法和装置。为实现上述目的，本专利技术技术方案如下：少样本条件下基于三维特效仿真的火箭残骸高空检测方法，包括如下步骤：S1、基于三维特效仿真进行数据增强，具体方法是基于开源的虚幻引擎UnrealEngine(UE)建立一套火箭残骸三维场景模拟图像生成系统，该系统使用“全三维合成”和“三维模型+实景合成”两种方式生成不同背景、不同高空视角下的火箭残骸图片；UnrealEngine是一款流行的游戏开发引擎，在其上进行二次开发可以制作出逼真的三维场景；S2、构成火箭残骸目标检测数据集，对所述残骸图片进行标注，用标注工具LabelImage在每帧图片上标注火箭残骸的区域及类别，每帧图片都有一个对应的标注文件，所有图片和标注文件构成了火箭残骸目标检测数据集；S3、生成残骸检测模型，对所述火箭残骸目标检测数据集选用最新的One-Stage端到端目标检测算法YOLOv5进行训练，生成残骸检测模型；S4、压缩裁剪残骸检测模型，对所述残骸检测模型进行压缩裁剪得到轻量化的精简模型，植入到资源受限的无人机载嵌入式AI自主识别芯片上。S5、使用步骤S4中的所述无人机作为飞行平台，利用所述嵌入式AI自主识别芯片在飞行过程中实时检测地面环境中是否存在火箭残骸并在机载CPU或在地面端解算残骸位置传回地面端。进一步地，所述步骤S1中的火箭残骸三维场景模拟图像生成软件，该软件使用“全三维合成”方式生成不同背景、不同高空视角下的火箭残骸图片的具体方法步骤实现过程分为三个阶段：三维建模、UE优化、视角转换。进一步地，所述步骤S1中的火箭残骸三维场景模拟图像生成软件，该软件使用“三维模型+实景合成”方式生成不同背景、不同高空视角下的火箭残骸图片的具体方法步骤三个阶段：三维建模、引入实景图片UE优化、真实的无人机视角转换。更进一步地，所述步骤S4对所述残骸检测模型进行压缩裁剪的具体方法是对训练好的残骸检测模型进行逐层剪枝，检测模型的每一层中有都大量的卷积核，通过计算权重绝对值的和来衡量卷积核的相对重要性，与该层中其他卷积核相比，权重绝对值和越小表示该卷积核越不重要，设定一个阈值，小于该阈值的卷积核可视为冗余参数；或者根据卷积神经元激活值来修剪冗余神经元，每个卷积核在卷积计算后都会进入激活层，激活值越小表示该神经元对模型的影响越小，设定一个阈值，激活值小于阈值的卷积神经元被视为冗余。本专利技术还提供了少样本条件下基于三维特效仿真的火箭残骸高空检测装置，包括无人机平台、光电吊舱、嵌入式AI自主识别芯片、CPU、导航控制模块、数据链、地面监控端，所述光电吊舱和CPU之间电连接进行数据交互，所述光电吊舱传输数据给所述嵌入式AI自主识别芯片两者之间电连接，所述嵌入式AI自主识别芯片和CPU之间电连接进行数据交互，所述导航控制模块传输数据给所述CPU两者之间电连接，所述数据链通讯连接所述CPU和所述地面监控端；所述数据链还通讯连接所述嵌入式AI自主识别芯片和所述地面监控端；所述数据链还通讯连接所述导航控制模块和所述地面监控端；所述无人机平台，用于搭载光电吊舱(市购)、嵌入式AI自主识别芯片、CPU、导航控制模块；所述光电吊舱包括可见光/红外摄像头、云台、激光测距仪，用于实现采集地面视频、目标对准、激光测距；所述嵌入式AI自主识别芯片，包括嵌入式FPGA开发板和目标检测算法模型软件，用于实时检测视频图像中的火箭残骸目标；所述CPU用于控制云台对准目标残骸中心，并根据激光测距得到的残骸距离信息、无人机实时位置、姿态信息(利用三点测距定位法)解算出目标残骸的具体物理坐标；所述导航控制模块，用于控制无人机的飞行，将无人机的实时位置、姿态、高度信息传给CPU；所述数据链，将视频图像数据与目标残骸的具体物理坐标信息下传至地面监控端；所述数据链采用MavLink协议、TCP/IP协议；所述地面监控端，用于监控无人机的状态，接收无人机传回的火箭残骸信息，对火箭残骸目标识别效果和准确性进行实时评估。进一步地，所述目标检测算法模型软件采用One-Stage目标检测模型YOLOv5，用于火箭残骸目标检测和识别，在火箭残骸目标检测数据集上进行训练，并将训练好的目标检测模型YOLOv5进行剪枝和压缩(即裁剪和压缩)操作，得到轻量化的精简模型后植入嵌入式FPGA开发板中。YOLOv5模型实时性高、对小目标有更好的检测精度。更进一步地，所述火箭残骸目标检测数据集是基于开源的虚幻引擎UnrealEngine建立一套火箭残骸三维场景模拟图像生成系统，该系统使用“全三维合成”和“三维模型+实景合成”两种方式生成不同背景、不同高空视角下的火箭残骸图片；UnrealEngine是一款流行的游戏开发引擎，在其上进行二次开发可以制作出逼真的三维场景。具体地，所述CPU解算出目标残骸的具体物理坐标的方法为三点测距定位法，通过导航控制模块，获取任意时刻飞机自身经纬度和高程，通过坐标转换，求得无人机在大地直角坐标系下的坐标；若无人机对同一目标点进行三次激光测距，根据无人机与目标之间的距离建立方程组，解算方程组，目标残骸的大地坐标被求解出来。更进一步地，所述地面监控端包括运载车和地面站，所述地面站放置于运载车中，用于监控无人机的状态，接收无人机传回的火箭残骸信息，对火箭残骸目标识别效果和准确性进行实时评估。本专利技术所构思的以上技术方案与现有技术相比，能够取得下列有益效果：1、本专利技术的少样本条件下基于三维特效仿真的火箭残骸高空检测方法，建立一套基于Unrea本文档来自技高网...

【技术保护点】
1.少样本条件下基于三维特效仿真的火箭残骸高空检测方法，其特征在于包括如下步骤：/nS1、基于三维特效仿真进行数据增强，具体方法是基于开源的虚幻引擎Unreal Engine建立一套火箭残骸三维场景模拟图像生成软件，该软件使用“全三维合成”和“三维模型+实景合成”两种方式生成不同背景、不同高空视角下的火箭残骸图片；Unreal Engine是一款流行的游戏开发引擎，在其上进行二次开发可以制作出逼真的三维场景；/nS2、构成火箭残骸目标检测数据集，对所述残骸图片进行标注，用标注工具LabelImage在每帧图片上标注火箭残骸的区域及类别，每帧图片都有一个对应的标注文件，所有图片和标注文件构成了火箭残骸目标检测数据集；/nS3、生成残骸检测模型，对所述火箭残骸目标检测数据集选用最新的One-Stage端到端目标检测算法YOLOv5进行训练，生成残骸检测模型；/nS4、压缩裁剪残骸检测模型，对所述残骸检测模型进行压缩裁剪得到轻量化的精简模型，植入到资源受限的无人机载芯片上；/nS5、使用无人机作为飞行平台，在飞行过程中实时检测地面环境中是否存在火箭残骸并在机载CPU或在地面端解算残骸具体位置。/n...

【技术特征摘要】
1.少样本条件下基于三维特效仿真的火箭残骸高空检测方法，其特征在于包括如下步骤：
S1、基于三维特效仿真进行数据增强，具体方法是基于开源的虚幻引擎UnrealEngine建立一套火箭残骸三维场景模拟图像生成软件，该软件使用“全三维合成”和“三维模型+实景合成”两种方式生成不同背景、不同高空视角下的火箭残骸图片；UnrealEngine是一款流行的游戏开发引擎，在其上进行二次开发可以制作出逼真的三维场景；
S2、构成火箭残骸目标检测数据集，对所述残骸图片进行标注，用标注工具LabelImage在每帧图片上标注火箭残骸的区域及类别，每帧图片都有一个对应的标注文件，所有图片和标注文件构成了火箭残骸目标检测数据集；
S3、生成残骸检测模型，对所述火箭残骸目标检测数据集选用最新的One-Stage端到端目标检测算法YOLOv5进行训练，生成残骸检测模型；
S4、压缩裁剪残骸检测模型，对所述残骸检测模型进行压缩裁剪得到轻量化的精简模型，植入到资源受限的无人机载芯片上；
S5、使用无人机作为飞行平台，在飞行过程中实时检测地面环境中是否存在火箭残骸并在机载CPU或在地面端解算残骸具体位置。


2.根据权利要求1所述的火箭残骸高空检测方法，其特征在于所述步骤S1中的火箭残骸三维场景模拟图像生成软件，该软件使用“全三维合成”方式生成不同背景、不同高空视角下的火箭残骸图片的具体方法步骤实现过程分为三个阶段：三维建模、UE优化、视角转换。


3.根据权利要求1所述的火箭残骸高空检测方法，其特征在于所述步骤S1中的火箭残骸三维场景模拟图像生成软件，该软件使用“三维模型+实景合成”方式生成不同背景、不同高空视角下的火箭残骸图片的具体方法步骤三个阶段：三维建模、引入实景图片UE优化、真实的无人机视角转换。


4.根据权利要求1-3中任一项所述的火箭残骸高空检测方法，其特征在于所述步骤S4对所述残骸检测模型进行压缩裁剪的具体方法是对训练好的残骸检测模型进行逐层剪枝，检测模型的每一层中有都大量的卷积核，通过计算权重绝对值的和来衡量卷积核的相对重要性，与该层中其他卷积核相比，权重绝对值和越小表示该卷积核越不重要，设定一个阈值，小于该阈值的卷积核可视为冗余参数；或者根据卷积神经元激活值来修剪冗余神经元，每个卷积核在卷积计算后都会进入激活层，激活值越小表示该神经元对模型的影响越小，设定一个阈值，激活值小于阈值的卷积神经元被视为冗余。


5.少样本条件下基于三维特效仿真的火箭残骸高空检测装置，其特征在于包括无人机平台、光电吊舱、嵌入式AI自主识别芯片、CPU、导航控制模块、数据链、地面监控端，所述光电吊舱和CPU之间电连接进行数据交互，所述光电吊舱传输数据给所述嵌入式AI自主识别芯片两者之间电连接，所述嵌入式AI自主识别芯片和CPU之间电连接进行数据交互，所述导航控制模块传输数据给所述CPU两者之间电连接，
所述数据链通讯连接所述CPU和...

【专利技术属性】
技术研发人员：兰子柠，张华君，张紫龙，周子鸣，李磊，张达，李康伟，黄晓龙，
申请(专利权)人：湖北航天飞行器研究所，
类型：发明
国别省市：湖北;42