一种改进团队进步算法的近红外光谱波长筛选方法技术

本发明专利技术公开了一种改进团队进步算法的近红外光谱波长筛选方法，属于近红外光谱检测领域。所述方法包括：按照评价值的从高到低，将需筛选的近红外光谱波段均分为精英组、普通组和垃圾回收组；选择在精英组或普通组中产生新生波段，所述新生波段的波长点从选择组中的随机一条波段中选择波长点，新生波段的波长点继承该被选择的波长点；继承下来的新生波段通过设定概率选择一次学习行为或者探索行为以更新自身的波长点，生成候选波段，选取精英组中评价值最高的波段作为所要筛选的波段。本发明专利技术保证了模型预测准确度的情况下，大大减少了波长变量数，同时降低了算法的复杂程度，提高了农作物中的无损检测精度。

【技术实现步骤摘要】
一种改进团队进步算法的近红外光谱波长筛选方法
本专利技术涉及近红外光谱检测领域，具体涉及一种改进团队进步算法的近红外光谱波长筛选方法。
技术介绍
随着我国综合实力的大幅提升，人们对于产品品质的要求越来越高，其中包括水果、农作物、食品等。在工业过程检测领域中，需要检测油类，化学物品等成分质量，不仅要求检测技术快速无损，而且还追求检测精度。城市化的不断提升，对更加精确方便的检测技术的需求与目前比较落后的检测技术水平之间的矛盾愈发升级。在众多应用背景下，近红外光谱分析技术应声而出。近红外光谱分析技术作为一种测试在线分析技术，具有分析速度快、效率高、成本低以及无损检测的优势，已经扩展到石油化工、制药、临床医学以及食品工业等众多领域。近红外光谱分析技术主要分为三大部分，光谱的预处理、波长筛选和模型建立。近红外光谱分析技术最重要的一个步骤便是筛选波长变量。近红外光谱分析技术一般情况都伴有大量的光谱数据，少则几百，多则上千，往往导致检测模型数据量过大预测效果不明显。对采集到的光谱数据进行波长筛选可以大大减小预测模型，有效防止预测模型出现过拟合现象，加快预测速度，增强模型的鲁棒性，同时也能提升预测准确率，对近红外光谱分析技术的发展有着举足轻重的作用。现有的波长筛选算法主要有主成分分析(PCA)、联合区间偏最小二乘法(siPLS)、团队进步算法(TPA)、无信息变量消除法(UVE)、遗传算法(GA)等。PCA是一个降维的统计方法，它借助于一个正交变换，将其分量相关的原随机向量转化成其分量不相关的新随机向量。将PCA应用在光谱筛选中虽然能够筛选出极少量波长，有效较低模型体量，但同时也筛选掉了不少有效变量信息，导致预测准确度不够。GA算法是一种模拟自然进化过程搜索最优解的方法，将问题的求解转换成类似生物进化中的染色体基因的交叉、变异、复制等过程。在波长筛选过程中，将光谱数据看作染色体，将光谱数据分成若干个光谱段，每一个波段对应染色体上的一个基因，按照0-1形式进行编码，1表示选中该波段，0表示未选中，自定义原始种群的大小进行迭代进化，并选出最优个体。GA算法在求解较为复杂的组合优化问题时，如光谱波长筛选中，通常能够较快地获得较好的优化结果，但一般只能筛选出近乎一半的波长变量，对于一些计算模型级别低的场景并不适用。章海亮等(章海亮，罗微，刘雪梅，何勇.应用遗传算法结合连续投影算法近红外光谱检测土壤有机质研究[J].光谱学与光谱分析，2017，37(2)：584-587.)提出遗传算法结合连续投影算法，用GA算法对光谱变量进行筛选之后，再用连续投影算法对光谱波长进行进一步筛选。最终筛选出18个变量进行建模。同时由于GA缺乏群体的多样性，在实际应用中容易产生早熟收敛，赵鑫等(XinZhao，QibingZhu，MinHuang，HaiyanCen.AnIGA-PLSPmethodforFT-NIRwavelengthselectionformeasuringsolublesolidcontentofcitrusfruits[J].Analyticalmethods，2013，5(18)：4811-4817.)提出IGA优选谱区结合偏最小二乘投影法(PLSP)，IGA将生物免疫机制引入到标准遗传算法中，克服了GA的早熟缺陷，具有较快的收敛速度。同时在IGA之后进行PLSP对波长变量进一步筛选，克服了子区间变量冗余。双算法结合虽然筛选变量效果不错，但大大增大了工作量。薄亚明(多维函数全局寻优的团队进步算法[J].南京邮电大学学报(自然科学版)，2008，28(5)：7-14.)提出的TPA是一种双群体搜索算法，模仿一个团队的两个小组团队合作行为，将光谱变量分成若干个波段，波段跟对应的理化值建模的结果作为评价值指标，根据评价值将波段分为精英组跟普通组，再进行相应的学习和探索过程，并设计合理的波段更新规则更新波段，逐步提升其评价值以达到全局最优。TPA算法较GA算法简洁很多，同时筛选出来的波长数目极少，但预测精度稍有不及。
技术实现思路
[技术问题]现有的近红外光谱波长筛选检测模型筛选的波长数量过大且预测精度低。[技术方案]本专利技术提供一种改进团队进步算法的近红外光谱波长筛选方法，包括：步骤一：将需筛选的近红外光谱波段均分为P个波段，每个波段包括多个波长点，所述P个波段都为iTPA算法模型中的成员，并确定P个波段中每个波段的评价值；步骤二：按照评价值的从高到低，将P个波段值分为N个精英组、M个普通组和L个垃圾回收组，N、M和L分别为整数；步骤三：选择在精英组或普通组中产生新生波段，所述新生波段的波长点从选择组中的随机一条波段中选择波长点，新生波段的波长点继承该被选择的波长点；步骤四：继承下来的新生波段通过设定概率选择一次学习行为或者探索行为以更新自身的波长点，生成候选波段，所述选择学习行为和探索行为概率之和为100％；步骤五：进行候选波段的更新；包括：将候选波段的评价值分别与精英组、普通组、垃圾回收组中的波段值进行比较来确定候选波段进入精英组或普通组或垃圾回收组；步骤六：自定义迭代更新次数，迭代结束之后，选取精英组中评价值最高的波段作为所要筛选的波段。在本专利技术的一种实施方式中，所述iTPA算法模型为：式中，向量X代表一个成员，即为包含多个波长的波段；x1-xn表示该波段的所有波长点，xi表示该波段中的第i个波长点，bi和ai分别表示该波长点的上、下边界值，函数f(x)代表该条波段的评价值。在本专利技术的一种实施方式中，所述评价值f(x)即以该波段X与测得的含量理化值进行PLS建模得到的校正均方根误差(RMSEC)和相关系数(R)为变量的函数值，所述评价值为通过更新波段X以逐步提升或降低评价值来寻求最优波段。在本专利技术的一种实施方式中，所述学习行为包括：新生波段xr向参照目标方向调节，所述新生波段xr产生于普通组或精英组，产生于普通组或精英组的新生波段的参照方向分别产生于精英组和垃圾回收组的样板值，所述样板值包括：精英组样板ee和垃圾回收组样板el；所述样板值取所在组波段波长的平均值；普通组或精英组中生成的新生波段xr在选择学习行为时分别为：xc＝(1-γ)xr+γee(3)xc＝(1+γ)xr-γel(4)式中，γ为区间[0，1]内随机数，xc为候选波段。在本专利技术的一种实施方式中，所述新生波段经过探索行为生成候选波段为：式中，T为矩阵转置符号，xri为新生波段对应的波长，即该波段的第i个波长，i＝1，2，...，n；K为算法最大迭代次数，k表示当前累计的迭代次数；收缩指数ae，p表示当新生波段继承自精英组时选取ae，当新生波段继承自普通组时选取ap；γi是区间(0，1)的随机数，mi随机在0，1二值间取值。在本专利技术的一种实施方式中，在步骤一之前，对近红外光谱数据样本进行异常点剔除及样本集划分，包括：用马氏距离剔除光谱中异常数据，剔除光谱中异常数据后，采用K-S法将剩余的样本点分成本文档来自技高网...

【技术保护点】
1.一种改进团队进步算法的近红外光谱波长筛选方法，其特征在于，包括：/n步骤一：将需筛选的近红外光谱波段均分为P个波段，每个波段包括多个波长点，所述P个波段都为iTPA算法模型中的成员，并确定P个波段中每个波段的评价值；/n步骤二：按照评价值的从高到低，将P个波段值分为N个精英组、M个普通组和L个垃圾回收组，N、M和L分别为整数；/n步骤三：选择在精英组或普通组中产生新生波段，所述新生波段的波长点从选择组中的随机一条波段中选择波长点，新生波段的波长点继承该被选择的波长点；/n步骤四：继承下来的新生波段通过设定概率选择一次学习行为或者探索行为以更新自身的波长点，生成候选波段，所述选择学习行为和探索行为概率之和为100％；/n步骤五：进行候选波段的更新；包括：将候选波段的评价值分别与精英组、普通组、垃圾回收组中的波段值进行比较来确定候选波段进入精英组或普通组或垃圾回收组；/n步骤六：自定义迭代更新次数，迭代结束之后，选取精英组中评价值最高的波段作为所要筛选的波段。/n

【技术特征摘要】
1.一种改进团队进步算法的近红外光谱波长筛选方法，其特征在于，包括：
步骤一：将需筛选的近红外光谱波段均分为P个波段，每个波段包括多个波长点，所述P个波段都为iTPA算法模型中的成员，并确定P个波段中每个波段的评价值；
步骤二：按照评价值的从高到低，将P个波段值分为N个精英组、M个普通组和L个垃圾回收组，N、M和L分别为整数；
步骤三：选择在精英组或普通组中产生新生波段，所述新生波段的波长点从选择组中的随机一条波段中选择波长点，新生波段的波长点继承该被选择的波长点；
步骤四：继承下来的新生波段通过设定概率选择一次学习行为或者探索行为以更新自身的波长点，生成候选波段，所述选择学习行为和探索行为概率之和为100％；
步骤五：进行候选波段的更新；包括：将候选波段的评价值分别与精英组、普通组、垃圾回收组中的波段值进行比较来确定候选波段进入精英组或普通组或垃圾回收组；
步骤六：自定义迭代更新次数，迭代结束之后，选取精英组中评价值最高的波段作为所要筛选的波段。


2.如权利要求1所述的一种改进团队进步算法的近红外光谱波长筛选方法，其特征在于，所述iTPA算法模型为：



式中，向量X代表一个成员，即为包含多个波长的波段；x1-xn表示该波段的所有波长点，xi表示该波段中的第i个波长点，bi和ai分别表示该波长点的上、下边界值，函数f(x)代表该条波段的评价值。


3.如权利要求2所述的一种改进团队进步算法的近红外光谱波长筛选方法，其特征在于，所述评价值f(x)即以该波段X与测得的含量理化值进行PLS建模得到的校正均方根误差和相关系数(R)为变量的函数值，所述评价值为



通过更新波段X以逐步提升或降低评价值来寻求最优波段。


4.如权利要求3所述的一种改进团队进步算法的近红外光谱波长筛选方法，其特征在于，所述学习行为包括：新生波段xr向参照目标方向调节，所述新生波段xr产生于普通组或精英组，产生于普通组或精英组的新生波段的参照方向分别产生于精英组和垃圾回收组的样板值，所述样板值包括：精英组样板ee和垃圾回收组样板el；所述样板值取所在组波段波长的平均值；在普通组或精英组中生成的新生波段xr在选择学习行为时分别是：
xc＝(1-γ)xr+γee(3)
xc＝(1+γ)xr-γel(4)
式中，γ为区间[0，1]内随机...

【专利技术属性】
技术研发人员：高美凤，陶焕明，于力革，
申请(专利权)人：江南大学，
类型：发明
国别省市：江苏;32