基于支持向量机模型的实测光谱曲线中异常光谱剔除方法技术
【技术实现步骤摘要】
本专利技术涉及一种实测光谱曲线中异常光谱的剔除方法，具体涉及一种基于支持向 量机分类方法原理设置阈值剔除异常光谱的方法。
技术介绍
光谱分析技术在地质遥感、农林生态、土壤调查、污染监测、食品检测、计量化学等 领域应用广泛，在测量过程中，由于仪器噪声、外界环境干扰、操作不当及其他偶发因素的 影响，采集到的光谱数据中往往存在异常光谱，如果直接使用这些数据进行建模分析，势必 会影响模型的准确性和稳定性。因此，有必要识别出异常光谱并将其剔除。 国内外许多专家学者对异常光谱识别做了相应的研究，陈斌等利用PCA结合马氏 距离对光谱异常样品进行剔除；包鑫等利用马氏距离的平均值加两倍马氏距离的标准差作 为阈值来剔除异常光谱；Patrick Wiegand等通过偏最小二乘法（PLS)建模，根据光谱数据 与所建模型预测值残差大小来判断是否为异常光谱；淡图南等在PLS建模的基础上，采用 留一步交叉检验法确定异常光谱数据；ZhiChao Liu等利用蒙特卡洛交叉验证建立一定数 量的PLS模型后，按照预测误差平方和排序，并根据光谱在不同模型中出现频次来完成异 常光谱的识别。综合国内外研究现状，异常光谱识别基本思想均为大量统计数据分析建模， 人为设置阈值或者不断调整阈值后建立预测模型，以相关系数、均方差、平均相对误差等统 计参数作为异常样品剔除模型的评价指标，得到不同阈值下的预测精度直至满足要求。上 述处理方法存在着两个缺陷，一是运用马氏距离等常规相似性度量方法比较光谱间的差 异，不能完全区分开光谱差异；二是人为设置阈值或不断调整阈值的方法，阈值设置...
【技术保护点】
基于支持向量机模型的实测光谱曲线中异常光谱剔除方法，其特征在于，包括如下步骤：1)获取实测光谱数据，并对其进行预处理；2)依据经预处理的所述实测光谱数据，获取光谱的二维平面散点图；3)将位于所述二维平面散点图中上方离集群中心较远的离散点标记为总离散点，将二维平面散点图中下方除去了离散点之外的集群点标记为总集群点，总离散点和总集群点共同构成训练光谱；4)选取核函数和惩罚系数C，结合所述训练光谱建立SVM二分类算法模型；5)将所述二维平面散点图输入所述支持向量机模型，在高维空间得到最优分类超平面函数表达式，最优分类超平面函数表达式即为异常光谱阈值线；6)所述二维平面散点图位于异常光谱阈值线上方的光谱点即为异常光谱，剔除所述异常光谱。
【技术特征摘要】
1. 基于支持向量机模型的实测光谱曲线中异常光谱剔除方法，其特征在于，包括如下 步骤： 1) 获取实测光谱数据，并对其进行预处理； 2) 依据经预处理的所述实测光谱数据，获取光谱的二维平面散点图； 3) 将位于所述二维平面散点图中上方离集群中心较远的离散点标记为总离散点，将二 维平面散点图中下方除去了离散点之外的集群点标记为总集群点，总离散点和总集群点共 同构成训练光谱； 4) 选取核函数和惩罚系数C，结合所述训练光谱建立SVM二分类算法模型； 5) 将所述二维平面散点图输入所述支持向量机模型，在高维空间得到最优分类超平面 函数表达式，最优分类超平面函数表达式即为异常光谱阈值线； 6) 所述二维平面散点图位于异常光谱阈值线上方的光谱点即为异常光谱，剔除所述异 常光谱。2. 根据权利要求1所述的基于支持向量机模型的实测光谱曲线中异常光谱剔除方法， 其特征在于：所述步骤1)预处理包括三个步骤11)去除水汽影响波段，12)采用多项式平 滑滤波，滤除原始光谱中高频噪声，13)包络线去除。3. 根据权利要求1所述的基于支持向量机模型的实测光谱曲线中异常光谱剔除方法， 其特征在于，所述步骤2)中所述的二维平面散点图是通过以下方法得到的： 计算经预处理的实测光谱数据与标准光谱集平均光谱之间的局部度量，包括欧氏距离 ED和余弦角CA，并归一化到0-1之间；计算经预处理的实测光谱数据与标准光谱集平均光 谱之间的整体度量，包括光谱信息散度SID，并归一化到0-1之间； 光谱编号结合归一化后的欧氏距离ED、余弦角CA、光谱信息散度SID和表达式 (ED X SID)/CA的值，得到二维平面下的ED散点图、CA散点图、SID散点图和（ED X SID)/CA 散点图； 所述二维平面散点图包括所述ED散点图和/或CA散点图和/或SID散点图和/或 (EDXSID)/CA 散点图。4. 根据权利要求3...
【专利技术属性】
技术研发人员：詹云军，苏余斌，黄解军，余晨，邓安鑫，朱捷缘，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：湖北;42
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。