【技术实现步骤摘要】
本专利技术属于图像处理领域，具体涉及一种基于频段差分的无人机rgb图像光谱重建方法。
技术介绍
1、利用无人搭载照相在力难以到达和地形条件复杂的环境区域开展作业，能够在最短时间内获得目标分布及其准确定位为指挥决策提供现场数据支持。与基于有人机的图像采集平台相比，无人机图像采集技术具有自主性强、操作简单、监测更加全面、成本和消耗更加低廉等优势，成为信息
的研究热点。
2、在实际应用中，往往在无人机上搭载rgb彩色相机来获取目标图像，目的是模仿人类的三色感知，使图像更符合人类的视觉习惯。但是，无人机采集的rgb图像缺乏光谱信息，无法反映不同物体光谱曲线和差异性。对无人机rgb图像进行光谱重建，恢复出rgb图像的光谱信息，能够有效改善场景内目标类别的识别与区分能力，具有重要的理论意义和应用价值。无人机rgb图像光谱重建所面临的最基本问题是信息缺失，即从少量的光谱信息恢复出高光量的图像是一个病态问题，本身就存在严重缺失。一种常用的方法，是基于图像融合的方法，通过引入一幅辅助的包含丰富光谱信息的低分辨率高光谱图像来引导rgb图像的光谱重建，如图1所示。因此，需要在无人机上另外搭载一个高光谱相机，以此引入rgb图像数据之外的信息来参与rgb图像光谱重建。
3、事实上，高光谱辅助图像不仅包含大量的光谱频段内信息，还包含了丰富的光谱频段间相关性信息，如图2所示。值得注意的是，在利用高光谱辅助图像引导rgb图像进行光谱重建时，现有重建方法往往仅关注辅助图像的光谱频段内信息，忽略了频段间的相关性信息。如果能够尽可能多地
4、受上述启发，在本专利技术中，尝试建立合适的光谱频段间相关性信息的感知机制，进一步充分利用高光谱辅助图像的光谱信息来参与无人机rgb图像光谱重建。在电工
中，人们常常利用两个信号之间的电压差(即差分信号)来作为电路的信号输入，其不仅包含了两个信号的信息，而且还有效地反映出两个信号之间的关系，以此来改善信号的应用效率。
技术实现思路
1、本专利技术旨在设计一种无人机rgb图像光谱重建方法，能够同时感知和利用高光谱辅助图像的频段内信息和频段间相关性信息，改善rgb图像的整体重建效果，从而进一步提升无人机感知目标场景信息的能力。
2、为了达到上述目的，本专利技术采用以下技术方案：一种基于频段差分的无人机rgb图像光谱重建方法，其特征在于，包括以下步骤：
3、步骤1、收集rgb图像和高光谱辅助图像，以构建具有rgb和高光谱辅助图像的数据集。假设所构建的数据集中包含n个rgb图像和高光谱辅助图像，即n对图像，共计2n幅图像，其中，每个rgb图像表示为xn，每个高光谱图像表示为hn，其中1≤n≤n。
4、步骤2、利用频段差分和超像素分割，形成训练数据，具体为：
5、将所述数据集中每个rgb图像分割成q个彩色不规则图像块；
6、将所述数据集中每个高光谱辅助图像分割成q个频段差分不规则图像块；
7、步骤3，建立基于深度网络的光谱映射模型，将rgb图像的彩色不规则图像块、以及其高光谱辅助图像的频段差分不规则图像块做为训练数据，对光谱映射模型进行训练，训练得到从rgb图像到频段差分序列的光谱映射关系t，即：
8、
9、其中，表示表示光谱映射模型的损失函数，为网络的参数，β为惩罚参数，表示第j个彩色不规则图像块、表示第j个频段差分不规则图像块，1≤j≤nq；其中n表示rgb和高光谱辅助图像样本的个数，q是每个样本所对应不规则块的个数，nq是数据集中生成的彩色不规则图像块的个数和频段差分不规则图像块的个数；由于差分限定了模型(1)训练数据(高光谱辅助图像对应的不规则图像块)的相邻频段的信息，因此通过上述深度网络模型训练方式优化出的光谱映射关系t，不仅反映了高光谱辅助图像各频段内信息，而且还包含了频段间的相关性信息。
10、步骤4，对于待光谱重建的rgb图像利用光谱映射关系t，获得目标图像的差分序列y，表示如下：
11、
12、步骤5，对目标图像的差分序列y进行逆向差分处理，即可获得rgb图像重建后的目标图像。
13、进一步的，步骤2中将所述数据集中每个rgb图像分割成q个彩色不规则图像块，具体为：
14、对每个rgb图像进行稀疏主成分分析spca降维，获得rgb图像的主元分量，再利用超像素分割算法计算所述主元分量的超像素标签，得到q个彩色不规则图像块；
15、将所述数据集中每个高光谱辅助图像分割成q个频段差分不规则图像块，具体为：将每个高光谱辅助图像进行差分限定，计算相邻频段之差来获得辅助高光谱图像的频段差分序列，对所述频段差分序列进行上采样，得到与rgb图像相同空间分辨率的频段差分序列；对上采样后的频段差分序列采用超像素分割算法进行分割，得到q个频段差分不规则图像块。
16、与现有技术相比，本专利技术具有如下优点和有益效果：
17、本专利技术提出的基于频段差分的无人机rgb图像光谱重建方法，通过引入差分思想来限定高光谱辅助图像相邻频段间的关系，获得高光谱辅助图像的频段差分序列，可同时描述光谱频段内信息和频段间的相关性信息，并结合深度神经网络来获取rgb图像到目标图像的光谱映射关系，克服了传统重建方法忽略频段间的相关性信息的问题。
本文档来自技高网...【技术保护点】
1.一种RGB图像光谱重建方法，其特征在于，包括如下步骤：
2.根据权利要求1所述一种RGB图像光谱重建方法，其特征在于，步骤2中对所述数据集中每个RGB图像分割成Q个彩色不规则图像块，具体为：
【技术特征摘要】
1.一种rgb图像光谱重建方法，其特征在于，包括如下步骤：
2.根据权利要求1所述一种rgb...
【专利技术属性】
技术研发人员：邢长达，王雪松，程玉虎，王浩宇，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。