一种近红外光谱数据压缩方法、装置及系统制造方法及图纸

本发明专利技术实施例公开了一种近红外光谱数据压缩方法、装置及系统，解决了由于传统的文件传输方式采用的是直接将原文件发送给接收方，所造成的较大的存储空间的技术问题。本发明专利技术实施例方法包括：近红外光谱数据压缩方法包括：根据K-SVD算法对近红外光谱数据对应的冗余字典进行训练，并获取目标函数，目标函数包括N个光谱样本组合而成的光谱组合；对训练过程中的多个光谱样本重复执行稀疏分解步骤对光谱样本求解稀疏表示系数；通过字典更新步骤结合稀疏表示系数获取目标函数的稀疏表示结果。

【技术实现步骤摘要】

本专利技术涉及数据处理
，尤其涉及一种近红外光谱数据压缩方法、装置及 系统。
技术介绍
近红外光谱分析技术是一种快速、准确的分析技术，已经得到了广泛的应用。近红 外光谱数据量大，需要较大的存储空间。而且通常样品数目非常大，少则数十，多则成百上 千；相应地，存储空间少则几兆，多则成百上千兆。如果光谱数据量大，则需要较长时间建立 和维护模型，从而导致模型建立和维护工作冗长繁琐。随着近红外光谱技术的进一步发展 和研宄的不断深入，如何在不丢失重要信息的前提下，有效地压缩数据，以节省存储空间， 并在传输时节省网络资源，成为人们面临的问题。因此，在近红外光谱数据传输时，对光谱 数据进行压缩处理是具有一定的实际意义的。稀疏表示是光谱图像处理及计算机视觉领域 的关键技术之一，它要求把图像现行展开中大部分基函数的稀疏的绝对值都接近于零，只 有少数基函数具有较大的非零系数，并且有限的大系数能够表示出原图的大部分信息，以 此实现近红外光谱图像的压缩。 传统的文件传输方式采用的是直接将原文件发送给接收方，但网络具有动态性、 不稳定性的特点，将原文件不经压缩直接发送给接收方不仅消耗过多的网络资源，而且在 接收方占用的存储空间比较大。 因此，在众多的文件传输应用中，如何将近红外光谱数据文件进行有效压缩，从而 实现资源利用，并能节省较大的存储空间的技术问题已经成为本领域技术人员亟待解决的 技术问题。
技术实现思路
本专利技术实施例提供了一种近红外光谱数据压缩方法、装置及系统，解决了由于传 统的文件传输方式采用的是直接将原文件发送给接收方，所造成的较大的存储空间的技术 问题。 本专利技术实施例中的一种近红外光谱数据压缩方法，包括： 根据K-SVD算法对近红外光谱数据对应的冗余字典进行训练，并获取目标函数， 所述目标函数包括N个光谱样本组合而成的光谱组合； 对训练过程中的多个所述光谱样本重复执行稀疏分解步骤对所述光谱样本求解 稀疏表不系数； 通过字典更新步骤结合所述稀疏表示系数获取所述目标函数的稀疏表示结果。 优选地， 根据K-SVD算法对近红外光谱数据对应的冗余字典进行训练，并获取目标函数， 所述目标函数包括N个光谱样本组合而成的光谱组合具体包括： 通过使用K-SVD公式F -M}UV/对所述近红外光谱数据对应的所述冗 余字典进行训练，其中，Ilx」I<1^1 = 1，2,3，"川八为校正集光谱^31和验证集光谱￥城 的光谱组合Y= ，所述光谱组合每一列代表一个所述光谱样本，D为所述冗余字 典，所述目标函数为||_F- 优选地， 对训练过程中的多个所述光谱样本重复执行稀疏分解步骤对所述光谱样本求解 稀疏表示系数具体包括： 训练过程中的多个所述光谱样本通过使用0MP算法（OrthogonalMatching Pursuit，正交匹配追踪算法）结合所述K-SVD算法按照第一预置公式对所述光谱样本求解 稀疏表不系数；其中，所述第一预置公式为【主权项】1. 一种近红外光谱数据压缩方法，其特征在于，包括： 根据K-SVD算法对近红外光谱数据对应的冗余字典进行训练，并获取目标函数，所述 目标函数包括N个光谱样本组合而成的光谱组合； 对训练过程中的多个所述光谱样本重复执行稀疏分解步骤对所述光谱样本求解稀疏 表示系数； 通过字典更新步骤结合所述稀疏表示系数获取所述目标函数的稀疏表示结果。2. 根据权利要求1所述的近红外光谱数据压缩方法，其特征在于，根据K-SVD算法对近 红外光谱数据对应的冗余字典进行训练，并获取目标函数，所述目标函数包括N个光谱样 本组合而成的光谱组合具体包括： 通过使用K-SVD公式对所述近红外光谱数据对应的所述冗余字 ￡>,A 典进行训练，其中，Mxill<T。，i= 1，2,3,…N，Y为校正集光谱rai和验证集光谱Ytst的 光谱组合Y= ，所述光谱组合每一列代表一个所述光谱样本，D为所述冗余字典， 所述目标函数为||方-〇义|尼。3. 根据权利要求2所述的近红外光谱数据压缩方法，其特征在于，对训练过程中的多 个所述光谱样本重复执行稀疏分解步骤对所述光谱样本求解稀疏表示系数具体包括： 训练过程中的多个所述光谱样本通过使用OMP算法的rthogonalMatching化rsuit， 正交匹配追踪算法）结合所述K-SVD算法按照第一预置公式对所述光谱样本求解稀疏表示 系数； 其中，所述第一预置公式为化llxj|。<了。，1 = 1，2,3,…，N。4. 根据权利要求3所述的近红外光谱数据压缩方法，其特征在于，通过字典更新步骤 结合所述稀疏表示系数获取所述目标函数的稀疏表示结果具体包括： 通过对所述冗余字典中的原子依次进行所述光谱样本的逐列更新，所述逐列更新为每 次对一个所述原子进行更新时，非更新原子对应的所述稀疏表示系数为固定； 通过第二预置公式对所述目标函数的惩罚函数进行表示，所述第二预置公式为为去 掉第k个原子dk后稀疏表示误差； 根据所述惩罚函数判断所述目标函数II 11^是否满足预置停止条件，若是，则所 述近红外光谱数据稀疏表示完成，若否，则继续下一个所述光谱样本的所述稀疏分解步骤 和所述字典更新步骤。5. 根据权利要求4所述的近红外光谱数据压缩方法，其特征在于，所述第二预置公式 中的所述X通过对所述稀疏表示系数的采用回归算法进行计算； 所述回归算法包括： 通过所述冗余字典D对所述校正集光谱rai和所述验证集光谱Ytst进行稀疏分解获取 校正集稀疏表示系数rai和验证集稀疏表示系数Xtst; 根据所述校正集稀疏表示系数ral和校正集参数测量值Ctal建立待测参数的偏最小二 乘预测模型； 将所述验证集稀疏表示系数Xtst输入至所述偏最小二乘预测模型，获取与所述验证集 稀疏表示系数Xtst对应的预测值。6. -种近红外光谱数据压缩装置，其特征在于，包括： 训练单元，用于根据K-SVD算法对近红外光谱数据对应的冗余字典进行训练，并获取 目标函数，所述目标函数包括N个光谱样本组合而成的光谱组合； 稀疏表示单元，用于对训练过程中的多个所述光谱样本重复执行稀疏分解步骤对所述 光谱样本求解稀疏表示系数； 更新单元，用于通过字典更新步骤结合所述稀疏表示系数获取所述目标函数的稀疏表 示结果。7. 根据权利要求6所述的近红外光谱数据压缩装置，其特征在于，所述训练单元，具体 用于通过使用K-SVD公S'对所述近红外光谱数据对应的所述冗余字 典进行训练，其中，Mxill<T。，i= 1，2,3,…N，Y为校正集光谱rai和验证集光谱Ytst的 光谱组合Y= ，所述光谱组合每一列代表一个所述光谱样本，D为所述冗余字典， 所述目标函数为liy-mn信； 所述稀疏表示单元，具体用于训练过程中的多个所述光谱样本通过使用OMP算法结合 所述K-SVD算法按照第一预置公式对所述光谱样本求解稀疏表示系数。8. 根据权利要求7所述的近红外光谱数据压缩装置，其特征在于，更新单元具体包括： 更新子单元，用于通过对所述冗余字典中的原子依次进行所述光谱样本的逐列更新， 所述逐列更新为每次对一个所述原子进行更新时，非更新原子对应的所述稀疏表示系数为 固定； 表示子单元，用本文档来自技高网...

【技术保护点】
一种近红外光谱数据压缩方法，其特征在于，包括：根据K‑SVD算法对近红外光谱数据对应的冗余字典进行训练，并获取目标函数，所述目标函数包括N个光谱样本组合而成的光谱组合；对训练过程中的多个所述光谱样本重复执行稀疏分解步骤对所述光谱样本求解稀疏表示系数；通过字典更新步骤结合所述稀疏表示系数获取所述目标函数的稀疏表示结果。

【技术特征摘要】

【专利技术属性】
技术研发人员：陈越立，胡男君，罗思维，侯英，彭琛，钟佳，林云，王玉，杨盼盼，
申请(专利权)人：广东中烟工业有限责任公司，
类型：发明
国别省市：广东;44