基于ResNet和LSTM融合的太赫兹时域光谱隐匿危险品分类方法技术

本发明专利技术公开了一种基于ResNet和LSTM融合的太赫兹时域光谱隐匿危险品分类方法，包括：针对危险品样品采集太赫兹时域光谱数据，以构建数据集，并对数据集中的数据进行预处理；构建ResNet

【技术实现步骤摘要】
基于ResNet和LSTM融合的太赫兹时域光谱隐匿危险品分类方法


[0001]本专利技术涉及危险品检测领域，具体涉及一种基于ResNet和LSTM融合的太赫兹时域光谱隐匿危险品分类方法，主要可应用于被动式太赫兹人体安检设备上。

技术介绍

[0002]X射线成像技术是目前探测包裹和行李中爆炸物和毒品的最常规方法，但是对一些片状和液体状等特殊爆炸物易出现漏检，对危险品的种类也难于确认，且由于对人体存在一定的辐射损伤而无法用于对人员的检查。其他如警犬和示踪法对于严密包装的危险品则效力有限。因此，为寻找准确、便捷、安全且经济实用的危险品探测技术迫在眉睫。
[0003]随着太赫兹技术的发展，太赫兹波被广泛地应用于物质检测领域并取得显著的成就。太赫兹波可穿透许多绝缘材料，如衣物、纸张、塑料、皮革和陶瓷等，而且太赫兹波辐射具有很低的光子能量，不会在生物组织中产生有害的光致电离，因此不会对人体造成伤害。由于这些优势，太赫兹时域光谱技术在探测人体或包装内藏匿的易燃易爆物上是一种极其有效的方法，可以通过频谱检测获取代表材料类型的各种信息，实现材料类型的识别。
[0004]近年来太赫兹时域光谱技术应用于物质检测领域都是基于理想的实验环境下，利用光谱分析法和机器学习方法相结合的技术进行分类研究。这些方法往往需要经验丰富的工程师手工设计特征提取器，对于变化的自然数据具有局限性，并且在处理复杂问题时泛化能力不足。然而在实际的安检场景中，环境温湿度变化、隐匿结构变化(常见衣物和塑料等包装物遮挡等)因素会影响危险品时域光谱的主要特征以及回波信号的信噪比，从而影响物质分类的准确性和实时性。因此，上述研究手段并不适用于实际的安检场景。
[0005]现有的基于支持向量机(SVM)和基于双向长短期记忆网络的深度学习分类算法中，基于SVM模型进行太赫兹时域光谱分类，其模型的泛化性与准确性较低，而且只能应用于小样本数据集，需要人工设计特征提取器，模型的表达能力较弱且容易过拟合；而基于双向的LSTM神经网络虽然能自动提取原始太赫兹时域光谱数据的有效特征，但是该方法针对高维度的数据时无法提取有效特征，并经常遇到梯度消失的问题，且模型训练时间长，资源消耗大，没有考虑物品种类和成分及隐匿结构多变对太赫兹时域光谱数据的影响；因此上述方法只能应用于实验环境下的物质检测，无法应对实际安检场景中复杂多变的情形。

技术实现思路

[0006]本专利技术提出一种基于ResNet和LSTM融合的太赫兹时域光谱隐匿危险品分类方法，重点解决地铁安检中人体隐匿物品分类的准确性和速度问题，使危险品分类准确率和分类速度匹配太赫兹成像人体安检装备速度，满足实际应用需求。
[0007]为了实现上述任务，本专利技术采用以下技术方案：
[0008]一种基于ResNet和LSTM融合的太赫兹时域光谱隐匿危险品分类方法，包括：
[0009]针对危险品样品采集太赫兹时域光谱数据，以构建数据集，并对数据集中的数据
进行预处理；
[0010]构建ResNet
‑
LSTM网络模型，然后用预处理后的数据集进行网络模型的训练、测试和评估，最终得到训练好的网络模型用于危险品的实时分类；
[0011]所述的ResNet
‑
LSTM网络模型的结构为：
[0012]第一层是卷积层，包含16个5
×
5的卷积核，第二层是2
×
2的池化层，第三层是包含32个5
×
5的卷积层，第四层是2
×
2的池化层，前四层用于对输入的数据进行降维并保留主要特征；
[0013]第五层是融合层，融合层具有并行的四个通道，融合层的输入分别进入这四个通道进行处理：第一个通道为1
×
1的卷积层，第二个通道是依次为1
×
1、1
×ꢀ
3、3
×
1的三个卷积层，第三个通道是依次为1
×
1、1
×
5、5
×
1的三个卷积层，第四个通道是依次为1
×
1、1
×
7、7
×
1的三个卷积层；四个通道的输出进入到一个 1
×
1的卷积层后，该卷积层的输出与融合层的输入进行点加操作后输出到后续网络中；
[0014]第六层是3
×
3的卷积层，第七层是全连接层，通过该层将前面提取到的特征综合起来输入到第八层的LSTM网络层中，从而提取出更深层次的时间序列数据特征；然后将LSTM网络层的输出经过两个Dropout层，以减轻模型的过拟合；在每个Dropout层后都有一个全连接层；最后，将提取的特征输入到softmax 层，对危险品进行分类。
[0015]进一步地，在融合层的最后一个1
×
1卷积层之前有一个连接层，把四个通道生成的不同类型但大小相同的特征图并排连接起来，形成新的特征响应图。
[0016]进一步地，所述对数据集中的数据进行预处理，包括：
[0017]提取光谱数据中的吸收系数和折射率，然后对吸收系数进行标准化、归一化和数据增强的预处理。
[0018]进一步地，所述提取光谱数据中的吸收系数和折射率，包括：
[0019]太赫兹时域光谱数据中，复折射率可以用来表征物质的宏观光学性质，将其分解为以下形式：
[0020][0021]式中的k(ω)表示消光系数，n(ω)表示实折射率，表示复折射率，i为虚部参数；
[0022]消光系数和吸收系数的关系如下：
[0023][0024]式中的α(ω)表示吸收系数，c表示光速，ω为角频率；
[0025]得到太赫兹的光谱折射率表达式为：
[0026][0027]其中，
[0028]吸收系数表达式为：
[0029][0030]式中，d为危险品样品的厚度，ω为角频率，ρ(ω)为样品信号和参考信号的振幅比；其中样品信号为经过样品的信号波，参考信号为不经过样品的信号波。
[0031]进一步地，所述数据增强的预处理，包括：
[0032]从数据归一化后的数据集中随机选择一个初始时间序列开始，赋予它一个等于0.5的权重；这个随机选择的时间序列将作为DBA的初始化时间序列；
[0033]根据动态时间规整DTW距离找到和DBA初试化时间序列最近的5个时间序列；然后在这5个中随机选择两个，并将这两个的权重都设置为0.15；
[0034]为了使权重之和等于1，数据集中剩下的时间序列的权重和为0.2，将剩下的时间序列平均分配这0.2的权重；
[0035]平均序列的生成使用加权的DBA算法。
[0036]一种被动式太赫兹人体安检设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，处理器执行计算机程序时实现基于 ResNet和LSTM融合的太赫兹时域光谱隐匿危险品分类方法的步骤。
[0037]一种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于ResNet和LSTM融合的太赫兹时域光谱隐匿危险品分类方法，其特征在于，包括：针对危险品样品采集太赫兹时域光谱数据，以构建数据集，并对数据集中的数据进行预处理；构建ResNet
‑
LSTM网络模型，然后用预处理后的数据集进行网络模型的训练、测试和评估，最终得到训练好的网络模型用于危险品的实时分类；所述的ResNet
‑
LSTM网络模型的结构为：第一层是卷积层，包含16个5
×
5的卷积核，第二层是2
×
2的池化层，第三层是包含32个5
×
5的卷积层，第四层是2
×
2的池化层，前四层用于对输入的数据进行降维并保留主要特征；第五层是融合层，融合层具有并行的四个通道，融合层的输入分别进入这四个通道进行处理：第一个通道为1
×
1的卷积层，第二个通道是依次为1
×
1、1
×
3、3
×
1的三个卷积层，第三个通道是依次为1
×
1、1
×
5、5
×
1的三个卷积层，第四个通道是依次为1
×
1、1
×
7、7
×
1的三个卷积层；四个通道的输出进入到一个1
×
1的卷积层后，该卷积层的输出与融合层的输入进行点加操作后输出到后续网络中；第六层是3
×
3的卷积层，第七层是全连接层，通过该层将前面提取到的特征综合起来输入到第八层的LSTM网络层中，从而提取出更深层次的时间序列数据特征；然后将LSTM网络层的输出经过两个Dropout层，以减轻模型的过拟合；在每个Dropout层后都有一个全连接层；最后，将提取的特征输入到softmax层，对危险品进行分类。2.根据权利要求1所述的基于ResNet和LSTM融合的太赫兹时域光谱隐匿危险品分类方法，其特征在于，在融合层的最后一个1
×
1卷积层之前有一个连接层，把四个通道生成的不同类型但大小相同的特...

【专利技术属性】
技术研发人员：赵聪，肖红，张荣跃，姜文超，曾庆湖，卢嘉荣，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：