一种基于大数据的模型匹配方法组成比例

本发明专利技术公开了一种基于大数据的模型匹配方法，该方法包括：获取新设备的仪器参数、待测光谱和/或对标准品的平均光谱，然后根据获得的仪器参数、待测光谱和/或对标准品的平均光谱，从而从基础模型库和个性化模型匹配出最精准适用的分析模型来进行物质信息的结果预测处理；所述的基础模型库是基于仪器种群聚类方式而建成的基础模型库。通过使用本发明专利技术的方法，可解决大量仪器之间的台间差问题，模型可在大批量的设备之间传递，从而可打破近红外光谱仪器数量的限制，适用于红外光谱仪器的大量生产模式，从而有助于近红外光谱技术的推广使用。本发明专利技术作为一种基于大数据的模型匹配方法可广泛应用于模型匹配领域中。

【技术实现步骤摘要】
一种基于大数据的模型匹配方法
本专利技术涉及模型匹配技术，尤其涉及一种基于大数据挖掘技术的模型匹配方法。
技术介绍
技术词解释：近红外光：近红外光(NIR)是介于紫外-可见光(UV-Vis)和中红外(MIR)之间的电磁波，其波长范围为700～2500nm；近红外光谱能反映含氢基团X—H(如C—H、N—H、O—H等)振动的倍频和合频吸收，不同基团(如甲基、亚甲基、苯环等)或同一基团在不同化学环境中的近红外吸收波长与强度都有明显差别，因此，近红外光谱非常适用于含氢有机物质的物化参数测量。台间差问题：由于制造工艺(同一批仪器，或不同批的仪器，由于制造工艺的细微差别而导致的台间差)、环境(仪器受当前环境影响，如温度、湿度等，导致对同一样本获得不同的结果)、仪器损耗(由于使用年限及仪器本身的使用损耗，导致不同仪器之间存在台间差)等问题，使得同一批次的产品，对同个样本所测量的数据存在差异，从而导致一台仪器建立的分析模型无法直接在其他仪器上使用。模型传递方：将建立了分析模型的仪器做为主机，将需要使用这个分析模型的仪器做为从机，分别使用主从机扫描同种样品或标准品并建立校正模型，从机可通过校正模型校正检测光谱后使用主机的分析模型或直接使用主机的分析模型后对预测结果进行校正。基于现代化学计量学方法，近红外光谱既可以用于定量分析，也可以用于定性分析。而对于定量分析与定性分析中的化学计量学方法，其主要包括以下几个方面：1、光谱预处理和变量选择；2、建立用于预测未知样品性质或组成的分析模型；3、模式识别方法和模型界外点检测方法；4、模型传递方法。目前，由于使用该技术的组织或个人大多仅使用单台或少量近红外光谱仪进行分析模型的建立，因此台间差问题通常会采用现代化学计量学中的模型传递方法来解决。目前用于解决台间差问题的模型传递方法，其主要包括有两种，一是提高校正模型的稳健性，二则是增强校正模型的适应性。前一种方法主要通过变量的筛选、微分、正交信号校正等预处理方法，和在不同环境测量条件下扩充校正模型以及采用稳健回归等方式过滤光谱中的噪声信息，融合多个局部模型，提高模型抗噪声的能力，以达到校正模型较高的可靠性，鲁棒性的目的。后一种方法则是通过数学方法建立从机和主机所测光谱、模型参数、或预测结果之间的函数关系，由此实现模型传递。由于前一种方式只是一些常见的数据与处理的方式，不能达到较高的准确性，因此通常主要是采用后一种方法，如经典的Shenk’s算法，来解决台间差问题的。但是，对于目前常用的模型传递方法，其仍存在不少的缺点，例如：1、校正计算量过多，无法实现大量模型的转移；2、需要大量的校正样品来支撑模型传递；3、缺乏动态变化，一旦仪器校正后，模型已经固定了，而仪器则会随着时间的消耗使得模型不再准确，需动态更新；4、用户参与度低，用户与商家的关系仅限于买卖关系。因此由此可见，当仪器量剧增时，模型传递的方法很难实现，容易产生计算量过多而无法负荷、所需的校正样品的数量过多、对每台待建模的仪器都需要采集大量的光谱数据从而导致工作人员工作量大、动态性差等问题，其基本无法解决大量仪器之间的台间差问题，这样则导致近红外光谱技术无法大批量推广使用。
技术实现思路
为了解决上述技术问题，本专利技术的目的是提供一种基于大数据的模型匹配方法，可打破近红外光谱仪器数量的限制，适用于红外光谱仪器的大量生产模式，从而有助于近红外光谱技术的推广使用。本专利技术所采用的第一技术方案是：一种基于大数据的模型匹配方法，该方法包括：获取新设备的仪器参数；将获取的仪器参数与每个仪器类别所对应的第一类别特征进行比较，从而找出与该新设备最接近的仪器类别；该新设备从基础模型库中获得与该找出的仪器类别相对应的基础模型后，利用该获得的基础模型进行物质信息的结果预测处理；其中，所述的基础模型库是基于仪器种群聚类方式而建成的基础模型库。作为第一技术方案的优选实施方式，所述基础模型库的建立步骤包括：对所有出厂的同一仪器类型设备进行随机抽样，并对抽出的设备进行仪器参数的采集；对采集得到的仪器参数进行聚类分析，从而得到多个数据簇，其中，一个数据簇表示为一个仪器类别，所述数据簇的聚类中心表示为仪器类别所对应的第一类别特征；为每个仪器类别建立相对应的基础模型，所有建立得到的基础模型构成基础模型库。作为第一技术方案的优选实施方式，所述为仪器类别建立相对应的基础模型，其具体步骤包括：选取属于同一仪器类别下的设备进行已知物质信息样品的光谱采集，然后通过化学计量学中的建模算法，从而根据采集得到的光谱数据来创建与该仪器类别相对应的分析模型。本专利技术所采用的第二技术方案是：一种基于大数据的模型匹配方法，该方法包括：获取新设备的仪器参数；将获取的仪器参数与每个仪器类别所对应的第一类别特征进行比较，从而找出与该新设备最接近的仪器类别；根据找出的仪器类别，判断个性化模型库中是否存有与该仪器类别相对应的个性化模型，若有，则从个性化模型库中找出与该仪器类别相对应的个性化模型，然后，将获得的仪器参数与找出的个性化模型中所存储的仪器特征进行匹配比较，从而找出与该新设备最匹配的个性化模型，然后，利用找出的个性化模型进行物质信息的结果预测处理；反之，则从基础模型库中获得与该找出的仪器类别相对应的基础模型后，利用该获得的基础模型进行物质信息的结果预测处理；其中，所述的基础模型库是基于仪器种群聚类方式而建成的基础模型库。作为第二技术方案的优选实施方式，所述个性化模型中存储有模型规则和仪器特征。本专利技术所采用的第三技术方案是：一种基于大数据的模型匹配方法，该方法包括：获取新设备的仪器参数以及待测光谱；将获取的仪器参数与每个仪器类别所对应的第一类别特征进行比较，从而找出与该新设备最接近的仪器类别；根据找出的仪器类别，从基础模型库和个性化模型中找出与该仪器类别相对应的分析模型，然后将待测光谱与找出的分析模型所对应的光谱特征进行匹配比较，找出与待测光谱最相似的光谱特征，从而获得最匹配的分析模型；利用最匹配的分析模型进行物质信息的结果预测处理；其中，所述的基础模型库是基于仪器种群聚类方式而建成的基础模型库。作为第三技术方案的优选实施方式，所述根据找出的仪器类别，从基础模型库和个性化模型中找出与该仪器类别相对应的分析模型，然后将待测光谱与找出的分析模型所对应的光谱特征进行匹配比较，找出与待测光谱最相似的光谱特征，从而获得最匹配的分析模型这一步骤，其具体为：根据找出的仪器类别，从基础模型库和个性化模型中找出与该仪器类别相对应的分析模型，然后将待测光谱与找出的分析模型所对应的光谱特征进行匹配比较，找出与待测光谱最相似的光谱特征，从而得到与找出的最相似的光谱特征相对应的分析模型，然后，将获得的仪器参数与得到的分析模型所对应的仪器特征进行匹配比较，从而找出与该仪器参数最匹配的仪器特征，从而获得最匹配的分析模型。作为第三技术方案的优选实施方式，所述分析模型所对应的光谱特征，其提取步骤包括：对建模集中的光谱数据进行分析，从而提取光谱特征，其中，所述建模集为用于建立分析模型的建模数据集。本专利技术所采用的第四技术方案是：一种基于大数据的模型匹配方法，该方法包括：获取新设备的仪器参数、待测光谱以及对标准品的平均光谱；将获取的仪器参数与每个仪器类别所对应的第一类别特征进行本文档来自技高网...

【技术保护点】
一种基于大数据的模型匹配方法，其特征在于：该方法包括：获取新设备的仪器参数；将获取的仪器参数与每个仪器类别所对应的第一类别特征进行比较，从而找出与该新设备最接近的仪器类别；该新设备从基础模型库中获得与该找出的仪器类别相对应的基础模型后，利用该获得的基础模型进行物质信息的结果预测处理；其中，所述的基础模型库是基于仪器种群聚类方式而建成的基础模型库。

【技术特征摘要】
1.一种基于大数据的模型匹配方法，其特征在于：该方法包括：获取新设备的仪器参数；将获取的仪器参数与每个仪器类别所对应的第一类别特征进行比较，从而找出与该新设备最接近的仪器类别；该新设备从基础模型库中获得与该找出的仪器类别相对应的基础模型后，利用该获得的基础模型进行物质信息的结果预测处理；其中，所述的基础模型库是基于仪器种群聚类方式而建成的基础模型库。2.根据权利要求1所述一种基于大数据的模型匹配方法，其特征在于：所述基础模型库的建立步骤包括：对所有出厂的同一仪器类型设备进行随机抽样，并对抽出的设备进行仪器参数的采集；对采集得到的仪器参数进行聚类分析，从而得到多个数据簇，其中，一个数据簇表示为一个仪器类别，所述数据簇的聚类中心表示为仪器类别所对应的第一类别特征；为每个仪器类别建立相对应的基础模型，所有建立得到的基础模型构成基础模型库。3.根据权利要求2所述一种基于大数据的模型匹配方法，其特征在于：所述为仪器类别建立相对应的基础模型，其具体步骤包括：选取属于同一仪器类别下的设备进行已知物质信息样品的光谱采集，然后通过化学计量学中的建模算法，从而根据采集得到的光谱数据来创建与该仪器类别相对应的分析模型。4.一种基于大数据的模型匹配方法，其特征在于：该方法包括：获取新设备的仪器参数；将获取的仪器参数与每个仪器类别所对应的第一类别特征进行比较，从而找出与该新设备最接近的仪器类别；根据找出的仪器类别，判断个性化模型库中是否存有与该仪器类别相对应的个性化模型，若有，则从个性化模型库中找出与该仪器类别相对应的个性化模型，然后，将获得的仪器参数与找出的个性化模型中所存储的仪器特征进行匹配比较，从而找出与该新设备最匹配的个性化模型，然后，利用找出的个性化模型进行物质信息的结果预测处理；反之，则从基础模型库中获得与该找出的仪器类别相对应的基础模型后，利用该获得的基础模型进行物质信息的结果预测处理；其中，所述的基础模型库是基于仪器种群聚类方式而建成的基础模型库。5.根据权利要求4所述一种基于大数据的模型匹配方法，其特征在于：所述个性化模型中存储有模型规则和仪器特征。6.一种基于大数据的模型匹配方法，其特征在于：该方法包括：获取新设备的仪器参数以及待测光谱；将获取的仪器参数与每个仪器类别所对应的第一类别特征进行比较，从而找出与该新设备最接近的仪器类别；根据找出的仪器类别，从基础模型库和个性化模型中找出与该仪器类别相对应的分析...

【专利技术属性】
技术研发人员：刘彤，潘涛，曾永平，肖青青，沈鸿平，凌亚东，
申请(专利权)人：广州讯动网络科技有限公司，
类型：发明
国别省市：广东,44