一种对标数据的获取方法及系统技术方案

本发明专利技术提供一种对标数据的获取方法及系统，所述方法包括：数据采集模块接收客户端通过网络传输来的效能数据，并转发到数据构建模块；数据构建模块对接收到的效能数据进行持久化操作；在效能数据积累到一定数量级后，数据构建模块开始对持久化的所有数据进行分类；在收到客户端通过数据采集模块发来的针对某一类型的效能数据的对标请求后，根据该请求为该类效能数据构建相应的对标模型；数据过滤模块根据对标请求对已持久化的该类型的效能数据进行过滤操作后发送给数据计算分析模块；数据计算分析模块对接收到的经过过滤操作的效能数据进行数据训练，从中剔除不适合对标模型的数据后，使用剩余的效能数据，通过对标模型进行计算，得到对标数据。

【技术实现步骤摘要】

本专利技术涉及工业领域，尤其涉及一种对标数据的获取方法及系统。
技术介绍
随着互联网技术的快速发展，数据分析引起了信息产业界的极大关注，其主要原 因是存在大量数据，可以广泛使用，并且迫切需要将这些数据转换成有用的信息和知识。同 时企业经常会搜集大量的数据，这些数据涵盖了生产、运行、采购等重要信息，但是由于信 息超载与无结构化，企业的决策者无法充分利用这些庞大的数据资源，仅能使用其中的一 小部分，这可能导致决策失误，甚至出现决策错误。而借助数据挖掘技术，企业完全有能力 从浩瀚的数据海洋中，挖掘出全面而又有价值的信息和知识，作为决策支持之用，进而形成 企业独有的竞争优势，获取的信息和知识可以广泛用于各种应用，包括：设备管理、生产控 制、市场分析、工程设计等。 每一个生产设备都有自己的最大理论产能，要实现这一产能必须保证没有任何干 扰和质量损耗。当然，实际生产中不可能达到这一要求，许多因素都会导致设备效率的降 低，例如设备故障、设备调整、产品规格更换、设备性能表现低、原材料质量等。现有生产设 备的效能，基本只能通过工程师的经验或者设计院进行调试，无法了解业界普遍水平，更无 法通过数据分析对设备进行优化。 本专利技术解决的问题是如何了解工厂的生产设备在本行业所处的水平，以及行业的 最好水平和平均水平，以进一步提高生产设备的效率，降低能耗。
技术实现思路
本专利技术旨在解决上面描述的问题。本专利技术的一个目的是提供一种解决以上问题中 的任何一个的一种对标数据的获取方法及系统。具体地，本专利技术提供能够在获取到对标数 据后，根据该数据全面了解的当前生产设备的能耗状况。 根据本专利技术的第一方面，本专利技术提供了一种对标数据的获取方法，包括： 数据采集模块接收客户端通过网络传输来的效能数据，并转发到数据构建模块； 所述数据构建模块对接收到的所述效能数据进行持久化操作；在效能数据积累到 一定数量级后，所述数据构建模块开始对持久化的所有数据进行分类；在收到所述客户端 通过数据采集模块发来的针对某一类型的效能数据的对标请求后，根据该请求为该类效能 数据构建相应的对标模型； 数据过滤模块根据所述对标请求对已持久化的该类型的效能数据进行过滤操作 后发送给数据计算分析模块，所述过滤操作包括：统一编码和去噪； 所述数据计算分析模块对接收到的经过过滤操作的效能数据进行数据训练，从中 剔除不适合对标模型的数据后，使用剩余的效能数据，通过所述对标模型进行计算，得到对 标数据。 进一步地，所述的方法还包括： 所述数据计算分析模块将得到的所述对标数据结果转变为需要对标的展现形式， 通过所述数据采集模块发送给所述客户端以进行展示。 进一步地， 所述数据采集模块由负载均衡服务器和一个以上的Web服务器组成；所述负载均 衡器在收到所述客户端发来的效能数据后，根据预设的分发策略将该效能数据分发到其中 一个Web服务器。 进一步地， 所述数据构建模块对接收到的所述效能数据进行持久化操作，具体包括：所述数 据构建模块如判断出接收到的所述效能数据为结构化数据，则将所述效能数据持久化到 MySQL数据库集群，同时按照主从分离策略将效能数据分离，主库提供插入、删除、更新操 作，从库提供查询操作；如判断出接收到的所述效能数据为非结构化数据，则通过mongo路 由服务器将该效能数据持久化到shard服务器集群中的一个。 进一步地， 所述通过mongo路由服务器将该效能数据持久化到shard服务器集群中的一个， 具体包括： 所述mongo路由服务器中预先保存了两个映射关系，第一映射关系是键值（key) 的区间与效能数据块（chunk)的映射关系，第二映射关系是效能数据块（chunk)与所在分 片节点（即shard服务器）的映射关系； 所述mongo路由服务器在收到所述数据构建模块发来的效能数据后，按照预定算 法对所述效能数据进行计算，将计算得到的结果作为键值，根据所述第一映射关系查找对 应的效能数据块，再利用查找到的效能数据块结合所述第二映射关系查找对应的shard服 务器，然后将该效能数据持久化到该对应的shard服务器中。 进一步地，所述方法还包括： 在将所述效能数据持久化到对应的shard服务器中时，所述mongo路由服务器还 判断当前待写入的效能数据块是否超出限定大小；如果超出，则将该效能数据块分列成两 个效能数据块后再进行写入。 进一步地， 所述对标模型的计算公式为：各产品的产量与该产品的实际效能数据的乘积之和 除以各产品的产量与该产品的最优效能数据的乘积之和。 根据本专利技术的第而方面，本专利技术提供了一种对标数据的获取系统，包括： 数据采集模块，用于接收客户端通过网络传输来的效能数据，并转发到数据构建 丰吴块； 所述数据构建模块，用于对接收到的所述效能数据进行持久化操作；还用于在效 能数据积累到一定数量级后，开始对持久化的所有数据进行分类；还用于在收到所述客户 端通过数据采集模块发来的针对某一类型的效能数据的对标请求后，根据该请求为该类效 能数据构建相应的对标模型； 数据过滤模块，用于根据所述对标请求对已持久化的该类型的效能数据进行过滤 操作后发送给数据计算分析模块，所述过滤操作包括：统一编码和去噪； 所述数据计算分析模块，用于对接收到的经过过滤操作的效能数据进行数据训 练，从中剔除不适合对标模型的数据后，使用剩余的效能数据，通过所述对标模型进行计 算，得到对标数据。 进一步地， 所述数据计算分析模块还用于将得到的所述对标数据结果转变为需要对标的展 现形式，通过所述数据采集模块发送给所述客户端以进行展示。 进一步地， 所述数据采集模块由负载均衡服务器和一个以上的Web服务器组成；所述负载均 衡器用于在收到所述客户端发来的效能数据后，根据预设的分发策略将该效能数据分发到 其中一个Web服务器。 进一步地， 所述数据构建模块用于对接收到的所述效能数据进行持久化操作，具体包括：所 述数据构建模块用于如判断出接收到的所述效能数据为结构化数据，则将所述效能数据持 久化到MySQL数据库集群，同时按照主从分离策略将效能数据分离，主库提供插入、删除、 更新操作，从库提供查询操作；还用于如判断出接收到的所述效能数据为非结构化数据，则 通过mongo路由服务器将该效能数据持久化到shard服务器集群中的一个。 进一步地， 所述对标模型的计算公式为：各产品的产量与该产品的实际效能数据的乘积之和 除以各产品的产量与该产品的最优效能数据的乘积之和。 本专利技术以互联网技术为基础，结合工业设备相关特点，解决了以往对设备效能优 化无从下手的问题，实现了同行业对标，追踪生产中各个环节的数据（如：能耗，产量，发电 量，运转率，损耗等当前第1页1 2 3 本文档来自技高网...

【技术保护点】
一种对标数据的获取方法，包括：数据采集模块接收客户端通过网络传输来的效能数据，并转发到数据构建模块；所述数据构建模块对接收到的所述效能数据进行持久化操作；在效能数据积累到一定数量级后，所述数据构建模块开始对持久化的所有数据进行分类；在收到所述客户端通过数据采集模块发来的针对某一类型的效能数据的对标请求后，根据该请求为该类效能数据构建相应的对标模型；数据过滤模块根据所述对标请求对已持久化的该类型的效能数据进行过滤操作后发送给数据计算分析模块，所述过滤操作包括：统一编码和去噪；所述数据计算分析模块对接收到的经过过滤操作的效能数据进行数据训练，从中剔除不适合对标模型的数据后，使用剩余的效能数据，通过所述对标模型进行计算，得到对标数据。

【技术特征摘要】

【专利技术属性】
技术研发人员：池煜，张静，
申请(专利权)人：中建材国际装备有限公司，
类型：发明
国别省市：北京;11