一种基于深度学习的高光谱数据预处理方法及系统技术方案

本发明专利技术公开了一种基于深度学习的高光谱数据预处理方法及系统，该方法包括如下步骤：获取第一通道序列数据；第一通道序列以高光谱图像对应的像素点为单位；将高光谱图像数据输入至第一特征提取模型执行特征训练；将经过特征训练后的数据输入第一网络模型执行压缩和扩展之后生成第二通道序列数据；以第一通道序列数据与第二通道序列数据计算获取损失值，以损失值训练更新第一特征提取模型及第一网络模型

【技术实现步骤摘要】
一种基于深度学习的高光谱数据预处理方法及系统


[0001]本专利技术属于高光谱缺陷检测
，具体是涉及一种基于深度学习的高光谱数据预处理方法及系统
。

技术介绍

[0002]LED
晶圆缺陷检测是
LED
制程中的关键步骤，对于
LED
芯片的良率控制和工艺改进等方面有非常重要的影响
。
当前微小尺寸的
LED
芯片，如
mini LED
和
micro LED
，广泛应用于显示面板中，给缺陷检测提出了更严格要求，发光特性差异也将成为判断缺陷的重要指标
。
尽管传统的可见光缺陷检测技术对于裂纹
、
划伤和坑洞等表面缺陷取得了显著的成果，但对于用于显示屏的晶圆缺陷检测则日益不足，半导体工艺流程中的微小或透明物质残留，如杂质原子
/
分子，光刻胶以及应力残留等问题难以被可见光缺陷检测技术发现
。
而这些缺陷在不同波段的发光和反射特性与正常部分有显著差异，可通过采集不同波段的光谱数据
(
即高光谱
)
识别出表面缺陷的位置和类型
。
[0003]半导体检测领域对检测速度有着严格的要求
。
由于
MiniLED
和
microLED
尺寸小
(
尺寸分别约为
200
‑
500um
和
10
>‑
100um)
，一块晶圆上的芯片数量巨大，并且因为增加了光谱维度
(
高光谱通道数通常大于
100
个
)
，高光谱设备产生的数据量远比传统的基于可见光的相机获取的数据量大很多
。
因此高光谱
LED
缺陷检测面临大量原始数据和高检测速度的要求，针对这一问题，常规的做法是通过预处理进行数据压缩
。
高光谱数据具有空间
x
，空间
y
和波长
λ
三个维度，因此也称为光谱立方体数据，如图1中所示
。
[0004]多元统计分析旨在研究多个变量之间的相互依存关系，并确定它们对整体数据分布的影响，该领域的一些算法在传统数据压缩和特征提取方面取得了成功
。PCA(
主成分分析
)、MNF(
最大噪声方差分析
)
和
ICA(
独立成分分析
)
等算法在数据预处理领域已有广泛的应用
。PCA
是一种线性降维算法，通过线性变换将原数据映射到一个低维空间中，保留数据最大方差的成分
。PCA
可有效地降低数据维度，消除冗余信息，并提高模型的鲁棒性和预测准确率
。MNF
是一种用于高光谱图像处理的非线性降维算法，它考虑到了数据中的噪声因素，并通过最小化噪声方差来确定数据的主成分
。ICA
是一种非线性盲源信号分离技术，旨在从混合了多个信号的观测数据中分离出各独立的成分
。ICA
可以应用于信号处理
、
图像处理和模式识别等领域，广泛应用于信号分析和数据挖掘等领域
。
[0005]另外深度学习具有比传统数据压缩算法更好能力，可以抽象出数据中的信息特征并执行数据压缩，帮助更好理解和利用数据
。
针对
LED
高光谱数据的深度学习预处理方面及使用何种深度学习网络以及网络参数如何优化，仍是有待解决的问题
。
[0006]现有技术中已经有尝试利用深度学习的技术来处理高光谱数据，例如专利公告号为
CN112749752B
，专利名称为一种基于深度
Transformer
的高光谱影像分类方法，主要实现将待分类的高光谱影响分别输入至训练好的深度空
‑
谱
Transformer
模型中，实现对高光谱影像的分类，其主要通过光谱维度注意力模型
、
空间维度注意力模型和分类器来实现利用高光谱影像丰富的空间和光谱信息，利用
Transformer
结构代替传统的卷积层，以获得更高
的分类精度，但是上述技术中的分类方法仍然存在较多的缺陷，高光谱的数据容量非常大，在深度学习中的卷积层压缩数据和保留特征之间的平衡处理会直接影响数据处理的灵活性和训练精度
。

技术实现思路

[0007]因此，针对现有技术的以上缺陷或改进需求中的至少一点，本专利技术的目的在于提出一种基于深度学习的高光谱数据预处理方法及系统
。
经过该预处理，
LED
的高光谱数据量可以得到较大程度的压缩，从而减少
LED
高光谱数据的存储空间，以及减少
LED
高光谱缺陷检测算法所需的时间
。
[0008]本专利技术公开了一种基于深度学习的高光谱数据预处理方法，其特征在于，该方法包括如下步骤：
[0009]获取第一通道序列数据；所述第一通道序列以高光谱图像对应的像素点为单位；
[0010]将所述第一通道序列数据输入至第一特征提取模型执行特征训练；
[0011]将经过特征训练后的数据输入第一网络模型执行压缩和扩展之后生成第二通道序列数据；
[0012]以所述第一通道序列数据与所述第二通道序列数据计算获取损失值，以所述损失值训练更新所述第一特征提取模型及所述第一网络模型
。
[0013]进一步地，所述第一特征提取模型由若干层
Transformer
结构堆叠的
BERT
网络
。
[0014]进一步地，所述第一网络模型包括依次级联的用于执行压缩
Compress
网络及用于执行通道维度扩展的
Extend
网络
。
[0015]进一步地，在所述特征训练的步骤中，所述第一通道序列数据中以一定比例的网络标记执行掩盖处理
。
[0016]进一步地，所述
Extend
网络中采用线性层
。
[0017]本专利技术还公开了一种基于深度学习的高光谱数据预处理系统，其特征在于，所述系统包括：
[0018]数据转化模块，用于将高光谱图像以像素点为单位转换成第一通道序列数据；
[0019]特征训练模块，被配置为运行至少一种特征训练模型，用于对所述第一通道序列数据执行特征训练；
[0020]压缩模块，被配置为运行至少一种压缩模型，用于对训练后的数据执行数据压缩
。
[0021]进一步地，所述系统还包括扩展模块，被配置为运行至少一种扩展模型，用于对所述压缩后的数据执行通道维度的扩展生成第二通道序列数据
。...

【技术保护点】

【技术特征摘要】
1.
一种基于深度学习的高光谱数据预处理方法，其特征在于，该方法包括如下步骤：获取第一通道序列数据；所述第一通道序列以高光谱图像对应的像素点为单位；将所述第一通道序列数据输入至第一特征提取模型执行特征训练；将经过特征训练后的数据输入第一网络模型执行压缩和扩展之后生成第二通道序列数据；以所述第一通道序列数据与所述第二通道序列数据计算获取损失值，以所述损失值训练更新所述第一特征提取模型及所述第一网络模型
。2.
根据权利要求1所述的基于深度学习的高光谱数据预处理方法，其特征在于，所述第一特征提取模型由若干层
Transformer
结构堆叠的
BERT
网络
。3.
根据权利要求1或2所述的基于深度学习的高光谱数据预处理方法，其特征在于，所述第一网络模型包括依次级联的用于执行压缩
Compress
网络及用于执行通道维度扩展的
Extend
网络
。4.
根据权利要求3所述的基于深度学习的高光谱数据预处理方法，其特征在于，在所述特征训练的步骤中，所述第一通道序列数据中以一定比例的网络标记执行掩盖处理
。5.
根据权利要求4所述的基于深度学习的高光谱数据预处理方法，其特征在于，所述
Extend
...

【专利技术属性】
技术研发人员：闻铭，张胜森，郑增强，
申请(专利权)人：武汉加特林光学仪器有限公司，
类型：发明
国别省市：