基于可见光与激光融合的航天器结构识别方法技术

本发明专利技术公开了基于可见光与激光融合的航天器结构识别方法，涉及目标检测与识别应用领域，能够将可见光与激光融合的基础，通过人工智能学习的方式对传统航天器的结构进行训练和测试，最终实现对航天器整体或部分进行检测识别。本发明专利技术包括：对可见光与激光融合的转换矩阵进行标定，建立可见光和激光融合转换矩阵的映射关系；采用卷积神经网络完成目标航天器的检测与识别；根据所述映射关系及所述卷积神经网络的图像卷积特性，对所述目标航天器的包络尺寸进行估计，完成所述目标航天器动态参数的辨识。本发明专利技术实现对目标结构包络尺寸的估计与动态参数的辨识，最终得到丰富的航天器数据，实现对航天器整体或部分的检测识别。

Spacecraft structure recognition method based on visible light and laser fusion

The invention discloses a spacecraft structure recognition method based on visible light and laser fusion, which relates to the application field of target detection and recognition. It can train and test the structure of traditional spacecraft through artificial intelligence learning, and finally realize the detection and recognition of the whole or part of spacecraft. The invention includes: calibrating the conversion matrix of visible light and laser fusion, establishing the mapping relationship between the conversion matrix of visible light and laser fusion; using convolution neural network to complete the detection and recognition of the target spacecraft; estimating the envelope size of the target spacecraft according to the mapping relationship and the image convolution characteristics of the convolution neural network to complete the target Identification of spacecraft dynamic parameters. The invention realizes the estimation of the envelope size of the target structure and the identification of the dynamic parameters, and finally obtains the abundant spacecraft data to realize the detection and identification of the whole or part of the spacecraft.

【技术实现步骤摘要】
基于可见光与激光融合的航天器结构识别方法
本专利技术涉及目标检测与识别应用领域，尤其涉及了基于可见光与激光融合的航天器结构识别方法。
技术介绍
随着航天技术的发展，计算机视觉与激光测距技术作为其重要分支发展迅猛，其中，可见光视觉系统能够通过捕获航天器图像，获得高分辨率高质量的色彩信息；激光雷达通过扫描航天器表面以获得高密度离散点云数据。然而，依靠可见光视觉捕获的图像中仅包含二维数据，无法获取目标的准确位置；激光获得的物体表面信息仅包含三维坐标，缺少色彩、纹理及轮廓等特征信息。由于空间环境复杂多变，可见光捕获设备易受空间光照影响，导致图像出现失真、过曝、缺失等现象，激光仪器设备需对目标进行近距离数据采集。因此，融合可见光与激光技术可同时得到含有空间三维距离信息与表面颜色、纹理信息的航天器表面数据，即可应用于非合作目标的检测、识别与定位。其中，基于卷积神经网络的目标的识别与检测是当前目标检测的研究热点。然而，目前国内外没有基于航天器结构数据库的深度学习进行目标识别与检测的实例。
技术实现思路
本专利技术提供了基于可见光与激光融合的航天器结构识别方法，能够在可见光与激光融合的基础上，建立航天器的结构数据库，通过人工智能学习的方式对传统航天器的结构(航天器本体、天线、对接环与太阳帆板)进行训练和测试，最终实现对航天器整体或部分进行检测识别。为达到上述目的，本专利技术采用如下技术方案：基于可见光与激光融合的航天器结构识别方法，包括：S1、对可见光与激光融合的转换矩阵进行标定，建立可见光和激光融合转换矩阵的映射关系；S2、采用卷积神经网络完成目标航天器的检测与识别；S3、根据所述映射关系及所述卷积神经网络的图像卷积特性，对所述目标航天器的包络尺寸进行估计，完成所述目标航天器动态参数的辨识。进一步的，所述S1包括：S11、搭建标定实验场景，在所述标定实验场景中设立标准标靶；S12、在所述标定实验场景中采集所述可见光和所述激光的数据，提取所述可见光和所述激光的数据中含有标靶的数据；S13、设置特征描述子，对所述含有标靶的数据中的特征描述子进行匹配，从而完成矩阵转换，建立可见光和激光融合转换矩阵的映射关系。进一步的，所述S2包括：S21、依据所述目标航天器的图片，建立卷积神经网络数据集；S22、利用图片标注工具对所述目标航天器的图片中的各部分结构进行标注，即设置标签；S23、建立初始状态的卷积神经网络，以所述卷积神经网络数据集作为样本进行训练，得到所述卷积神经网络；S24、利用所述卷积神经网络对所述目标航天器进行检测与识别。进一步的，所述S3包括：S31、根据所述映射关系，将激光系统下的图像信息投影至可见光系统下的图像信息，即将像素信息由RGB-3维信息扩展至(RGB+XYZ)-6维信息；S32、根据所述卷积神经网络的卷积特征，对所述目标航天器进行检测，得到动态参数与颜色信息,所述动态参数包括：目标中心位置轨迹、姿态变化轨迹以及包络尺寸大小；S33、对所述动态参数、颜色信息、标签数据进行处理，根据处理结果，估计所述目标航空器中各结构的包络尺寸。进一步的，所述S1包括将三个尺寸不同的棋盘标定板设置为3个靶标，靶标边长集合为Li,(i＝1,2,3)；选择其中1个标靶，对相机进行标定，得出相机内参矩阵M；固定激光雷达与相机在空间中的相对位置，对含有三个靶标的场景进行数据采集，激光雷达获得空间中3D点云三维坐标信息为PN(x,y,z)，相机获得空间中2D图像像素坐标为Pn(u,v)，N为3D点云中点的个数，x，y，z为三维坐标，n为2D图像像素中点的个数，u，v为二维坐标；对3D点云进行背景滤波与精滤波，得到所述三个靶标的点云数据PL；对2D图像中的靶标图像进行角点提取，保留角点的像素坐标；将点云数据PL和角点的像素坐标从世界坐标系转换到同一相机坐标系中，根据同一标靶在同一相机坐标系中的不同坐标关系，建立2D图像与3D点云的映射关系：靶标的2D图像在相机坐标系下的点云为PC(xc,yc,zc)，标靶在激光雷达坐标系下的点云为PL(xl,yl,zl)，将PC和PL各分为3个聚类，求解3个聚类的中心点位置；通过ICP(IterativeClosestPoint迭代最近点)算法使得PC和PL中各个聚类中心相对应，欧氏距离最小点对为同名点对，求解同名点对之间的旋转和平移矩阵R,t使得pi＝Rp′i+t，从而使得2D图像与3D点云的配准。进一步的，所述S2包括：采集所述目标航天器的图片构建航天器数据集，选取航天器本体、太阳能帆板、天线与对接环作为航天器结构特征；搭建卷积神经网络模型，计算卷积层、池化层数与全连接层，建立航天器结构检测与识别的深度学习网络，及所述初始状态的卷积神经网络；在航天器结构检测与识别的深度学习网络上进行训练与测试，得出准确率在95％以上的训练精度，获得图像卷积特征；准确检测与识别图像中的航天器结构特征，并依据所述航天器结构特征标签显示类别。进一步的，所述S3包括：根据所述映射关系，将激光三维坐标投影至2D图像的像素坐标下，对2D图像的像素信息进行丰富，具体做法是将仅携带颜色信息的RGB-3维信息(rgb)扩充至另含三维坐标信息的(RGB+XYZ)-6维信息(rgbxyz)；利用所述卷积神经网络的卷积特征，对所述目标航天器进行检测识别，辨识目标的动态参数与颜色参数；利用数学几何对标签框，即目标检测结果框中的结构进行包络尺寸估算。本专利技术的有益效果在于：充分考虑并分析太空中2D图像与3D激光点云的局限性，提出可见光与激光融合的思路，够将图像中特征像素点的RGB值扩展为带XYZ坐标的“深度”像素信息，具有数据丰富、形象，可靠性高等优势；本专利技术结合卷积神经网络算法，能够完成对空间中非合作航天器结构部件的实时检测与识别，利用可见光与激光融合的系统，获得目标在空间中绝对或相对位置，实现对目标结构包络尺寸的估计与动态参数的辨识，最终得到丰富的航天器数据，实现对航天器整体或部分的检测识别。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1是本实施例的流程图；图2是是可见光与激光融合系统的工作流程图；图3是卷积神经网络下航天器检测识别算法流程图；图4是包络尺寸估计与动态参数辨识算法流程图。具体实施方式为使本领域技术人员更好地理解本专利技术的技术方案，下面结合具体实施方式对本专利技术作进一步详细描述。本专利技术实施例提供了基于可见光与激光融合的航天器结构识别方法，流程图如图1所示，主要分为本文档来自技高网...

【技术保护点】
1.基于可见光与激光融合的航天器结构识别方法，其特征在于，包括：/nS1、对可见光与激光融合的转换矩阵进行标定，建立可见光和激光融合转换矩阵的映射关系；/nS2、采用卷积神经网络完成目标航天器的检测与识别；/nS3、根据所述映射关系及所述卷积神经网络的图像卷积特性，对所述目标航天器的包络尺寸进行估计，完成所述目标航天器动态参数的辨识。/n

【技术特征摘要】
1.基于可见光与激光融合的航天器结构识别方法，其特征在于，包括：
S1、对可见光与激光融合的转换矩阵进行标定，建立可见光和激光融合转换矩阵的映射关系；
S2、采用卷积神经网络完成目标航天器的检测与识别；
S3、根据所述映射关系及所述卷积神经网络的图像卷积特性，对所述目标航天器的包络尺寸进行估计，完成所述目标航天器动态参数的辨识。


2.根据权利要求1所述的基于可见光与激光融合的航天器结构识别方法，其特征在于，所述S1包括：
S11、搭建标定实验场景，在所述标定实验场景中设立标准标靶；
S12、在所述标定实验场景中采集所述可见光和所述激光的数据，提取所述可见光和所述激光的数据中含有标靶的数据；
S13、设置特征描述子，对所述含有标靶的数据中的特征描述子进行匹配，从而完成矩阵转换，建立可见光和激光融合转换矩阵的映射关系。


3.根据权利要求1所述的基于可见光与激光融合的航天器结构识别方法，其特征在于，所述S2包括：
S21、依据所述目标航天器的图片，建立卷积神经网络数据集；
S22、利用图片标注工具对所述目标航天器的图片中的各部分结构进行标注，即设置标签；
S23、建立初始状态的卷积神经网络，以所述卷积神经网络数据集作为样本进行训练，得到所述卷积神经网络；
S24、利用所述卷积神经网络对所述目标航天器进行检测与识别。


4.根据权利要求1所述的基于可见光与激光融合的航天器结构识别方法，其特征在于，所述S3包括：
S31、根据所述映射关系，将激光系统下的图像信息投影至可见光系统下的图像信息，即将像素信息由RGB-3维信息扩展至(RGB+XYZ)-6维信息；
S32、根据所述卷积神经网络的卷积特征，对所述目标航天器进行检测，得到动态参数与颜色信息,所述动态参数包括：目标中心位置轨迹、姿态变化轨迹以及包络尺寸大小；
S33、对所述动态参数、颜色信息、标签数据进行处理，根据处理结果，估计所述目标航空器中各结构的包络尺寸。


5.根据权利要求2所述的基于可见光与激光融合的航天器结构识别方法，其特征在于，所述S1包括：
将三个尺寸不同的棋盘标定板设置为3个靶标，靶标边长集合为Li,(i＝1,2,3)；
选择其中1个标靶，对相机进行标定，得出相机内参矩阵M；

【专利技术属性】
技术研发人员：康国华，张晗，张琪，张文豪，徐伟证，王强，刘奇弦，吴佳奇，邱钰桓，魏建宇，赵腾，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏;32