【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种用于实验室能力验证的异常数据处理方法及系统。
技术介绍
1、能力验证作为重要的外部质量评价活动，是评价实验室技术能力的有效手段，也是实验室进行质量控制的重要环节。作为衡量质量的通用手段，能力验证也越来越受到产业界、学术界的广泛关注。传统的开展能力验证活动的流程包括邀请报名、样品制备、样品发放、结果回收、数据汇总等基本由组织方人工完成，不仅工作量大，需要更多的人力资源，而且操作繁琐，容易出错。随着科技的不断进步，人工组织能力验证模式已不太适应当今实验室信息化发展的需要。实验室信息化管理系统(lims)是集现代化管理思想与计算机技术为一体的用于各行业实验室信息管理和控制的一项崭新的应用技术，随着信息化技术和食品检测行业的不断发展，有参与能力验证计划需求的食品检测机构数量正不断增加，为了响应信息化办公和无纸化办公趋势，建设软件系统进行统一、规范的管理，推动能力验证工作信息化建设是所有能力验证提供者（ptp）机构正在探索的研究之路。
2、现有技术中，在对实验室能力验证评价时，研究人员把主要的精力均放在了采用何种评价方法实现能力验证评价，而对于能力验证评价的数据处理过程则关注度不高，导致用于能力验证评价的数据准确度不高进而影响能力验证评价结论。
技术实现思路
1、为了解决上述技术问题，本专利技术提供了一种用于实验室能力验证的异常数据处理方法及系统，通过对能力验证数据处理过程进行改进以提高能力验证评价的准确性。
2、本专利技术提供了一
3、s1：获取参加能力验证的实验室信息。
4、s2：对所述实验室信息中的实验室测试数据进行预处理操作；
5、所述预处理操作包括：
6、s2.1：对所述实验室测试数据进行异常数据点检测；
7、s2.2：对检测出来的异常数据点进行删除；
8、s2.3：对所述测试数据中的缺失值进行填补；
9、所述s2.3具体为：
10、s2.3.1：对所述缺失值进行分类判断，若所述数据点中的缺失值个数大于预设数值，则进入s2.3.2，否则，进入s2.3.3；
11、s2.3.2：采用临近值平均法对所述缺失值进行数据填补操作；
12、s2.3.3：采用相关数据填补法对所述缺失值进行数据填补操作；
13、s3：根据经过所述s2预处理的数据进行实验室能力验证评价。
14、优选地，所述s2.3.2中，所述临近值平均法对所述缺失值进行数据填补操作的公式为：
15、
16、式中，xi为缺失值，xi-1和xi+1为缺失值的临值。
17、优选地，所述采用相关数据填补法对所述缺失值进行数据填补操作具体为：
18、s2.3.3.1：对所有数据点进行归一化处理，然后计算所述待填补的数据点与其他数据点的距离；
19、s2.3.3.2：对所述距离进行排序，得到k个距离最小的其他数据点；
20、所述k的具体数值确定公式为：
21、
22、式中，为5个最小距离的平均值，a为所述待填补数据点中缺失值的个数，an为每个数据点中数据个数，b为为数据点个数，r为系数；
23、s2.3.3.3： 根据所述k个距离最小的其他数据点对所述待填补数据点中的缺失值进行填补。
24、优选地，采用欧式距离公式计算所述待填补数据点xm与所述完整数据点xc的距离；
25、所述欧式距离公式具体为：
26、
27、式中，xmi为所述待填补数据点中的归一化后的第i个数据，i=1-n，xci为所述其他数据点中的与所述待填补数据点位置对应的归一化后的第i个数据，n为所述待填补数据点中的数据个数。
28、优选地，所述s2.3.1中，所述预设数值为1。
29、优选地，所述s2.1中，基于k-means聚类算法对异常数据点检测。
30、优选地，所述s2.1具体为：
31、s2.1.1：计算所述实验室测试数据中的每个数据点xi与初始聚类中心间的距离i；
32、s2.1.2：确定所述测试数据点中数据点与聚类中心的最小距离，根据所述把所述测试数据中的数据点归于相对应的簇；
33、s2.1.3：对所述聚类中心进行更新；
34、s2.1.4：重复所述s2.1.1- s2.1.3，直至所述聚类中心和所述目标函数值无变化；
35、s2.1.5：根据聚类结果实现异常数据点的检测。
36、优选地，所述s1中，所述实验室信息包括：实验室数量和实验室测试数据。
37、优选地，所述s2.1.1中，所述每个数据点与初始聚类中心间的距离的计算公式为：
38、
39、式中，xij为所述测试数据中第i个数据点的第j次测试结果，为第l个聚类中心的第j维度，m为所述测试数据中每个数据点中的数据的个数。
40、根据本专利技术的另一方面，提供一种用于实验室能力验证的异常数据处理系统，所述系统采用上述的一种用于实验室能力验证的异常数据处理方法，所述系统包括：
41、信息获取模块，用于获取参加能力验证的实验室信息。
42、数据预处理模块，用于对所述实验室信息中的实验室测试数据进行预处理操作；
43、能力验证模块，用于根据经过所述数据预处理模块预处理的数据进行实验室能力验证评价。
44、本专利技术实施例具有以下技术效果：
45、本专利技术在对能力验证评价时，设计了一种全新的数据预处理方法，即在对数据填补操作过程中，首先对待填补的数据类型进行分类判断，然后根据不同类型的数据，针对性地选择不同的数据填补方法，提高了数据填补的准确性；同时，针对数据点钟需要填补的数据较多的情况，采用寻找相关性最高的数据点作为基准进行数据填补的操作，可有效提高数据填补的准确度；
46、本专利技术提出一种全新的聚类算法中k的具体数值确定公式，提高了实验室能力验证中数据点中的缺失数据填补的针对性，对于各种类型的数据点中的缺失数据均可实现针对性填补，提高了待填补数据点的数据填补准确度。
本文档来自技高网...【技术保护点】
1.一种用于实验室能力验证的异常数据处理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种用于实验室能力验证的异常数据处理方法，其特征在于：所述S2.3.2中，所述临近值平均法对所述缺失值进行数据填补操作的公式为：
3.权利要求2所述的一种用于实验室能力验证的异常数据处理方法，其特征在于，所述采用相关数据填补法对所述缺失值进行数据填补操作具体为：
4.根据权利要求3所述的一种用于实验室能力验证的异常数据处理方法，其特征在于，采用欧式距离公式计算所述待填补数据点xm与所述完整数据点xc的距离；
5.根据权利要求1所述的一种用于实验室能力验证的异常数据处理方法，其特征在于，所述S2.3.1中，所述预设数值为1。
6.根据权利要求1所述的一种用于实验室能力验证的异常数据处理方法，其特征在于，所述S2.1中，基于k-means聚类算法对异常数据点检测。
7.根据权利要求6所述的一种用于实验室能力验证的异常数据处理方法，其特征在于，所述S2.1具体为：
8.根据权利要求1所述的一种用于实验室能力
9.根据权利要求1所述的一种用于实验室能力验证的异常数据处理方法，其特征在于，所述S2.1.1中，所述每个数据点与初始聚类中心间的距离的计算公式为：
10.一种用于实验室能力验证的异常数据处理系统，其特征在于，所述系统采用权利要求1-9任一项所述的一种用于实验室能力验证的异常数据处理方法，所述系统包括：
...【技术特征摘要】
1.一种用于实验室能力验证的异常数据处理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种用于实验室能力验证的异常数据处理方法，其特征在于：所述s2.3.2中，所述临近值平均法对所述缺失值进行数据填补操作的公式为：
3.权利要求2所述的一种用于实验室能力验证的异常数据处理方法，其特征在于，所述采用相关数据填补法对所述缺失值进行数据填补操作具体为：
4.根据权利要求3所述的一种用于实验室能力验证的异常数据处理方法，其特征在于，采用欧式距离公式计算所述待填补数据点xm与所述完整数据点xc的距离；
5.根据权利要求1所述的一种用于实验室能力验证的异常数据处理方法，其特征在于，所述s2.3.1中，所述预设数值为1。
6.根据权利要求1所述...
【专利技术属性】
技术研发人员：黄娟，余本渊，吴梦笔，王凯民，杨雯筌，丛进，李寒玲，胡伟健，
申请(专利权)人：南京海关动植物与食品检测中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。