一种数据清洗方法、系统、数据清洗设备和可读存储介质技术方案

本发明专利技术公开了一种数据清洗方法、系统、数据清洗设备及可读存储介质，其中数据清洗方法包括：将数据清洗装置嵌入到工业设备上，数据清洗装置中集成有清洗不同类型的设备数据的清洗策略；获取工业设备产生的待清洗的设备数据，并将设备数据传递给数据清洗装置进行数据清洗；数据清洗装置根据预设的清洗策略对不同类型的设备数据进行数据清洗；将清洗后的设备数据导出并存储。本发明专利技术将针对不同类型的设备数据的数据清洗策略集成在数据清洗装置中，数据清洗装置以代码块或者配置文件的形式保存，用户只需要将数据清洗装置配置到工业设备中，即可实现设备端对设备数据的自动清洗，简化了数据清洗的难度，提高了数据清洗的效率。

【技术实现步骤摘要】
一种数据清洗方法、系统、数据清洗设备和可读存储介质
本专利技术涉及计算机
，具体涉及一种数据清洗方法、、系统、数据清洗设备和可读存储介质。
技术介绍
数据清洗是对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并检查数据一致性，处理无效值和缺失值等。工业企业中使用的一些工业设备每天会产生大量的设备数据，这些设备数据包括设备基本信息、设备运行状态数据、设备故障信息等。企业管理方需要通过这些设备数据分析设备的运行情况，进而获悉企业生产情况，或者可以通过分析这些设备数据对设备运行状态进行实时监控以及故障分析、故障预警，所以这些设备数据具有很大的应用价值。但这些设备数据中可能存在一些重复的数据、错误的数据以及一些没有利用价值的数据，为了提高对这些设备数据的分析处理速度，需要对这些数据进行清洗。现有的数据清洗方式为，将获取到的设备数据首先统一发送到服务器端，再经过繁重的程序编码工作，由服务器端根据预设的数据清洗规则对不同类型的数据进行清洗，这种数据清洗方式效率低下，增加了数据清洗的难度。
技术实现思路
本专利技术的目的在于提供一种数据清洗方法、系统、数据清洗设备及可读存储介质，通过在工业设备端配置数据清洗装置，实现了数据在设备端的自动清洗，提高了数据清洗效率。为达此目的，本专利技术采用以下技术方案：提供一种数据清洗方法，所述数据清洗方法包括：将数据清洗装置嵌入到工业设备上，所述数据清洗装置中集成有清洗不同类型的设备数据的清洗策略；获取所述工业设备产生的待清洗的所述设备数据，并将所述设备数据传递给所述数据清洗装置进行数据清洗；所述数据清洗装置根据预设的所述清洗策略对不同类型的所述设备数据进行数据清洗；将清洗后的所述设备数据导出并存储。作为本专利技术的一种优选方案，所述数据清洗装置以配置文件或代码块的形式配置到所述工业设备上。作为本专利技术的一种优选方案，所述数据清洗装置通过正则表达式模式匹配出所述设备数据对应的数据类型。本专利技术还提供了一种数据清洗系统，可实现所述的数据清洗方法，所述数据清洗系统包括：数据清洗装置配置模块，用于提供给用户将数据清洗装置配置到工业设备中，所述数据清洗装置中集成有清洗不同类型的设备数据的清洗策略；设备数据获取模块，用于获取所述工业设备产生的待清洗的所述设备数据；设备数据传递模块，连接所述设备数据获取模块，用于将所获取的所述设备数据传递给所述数据清洗装置进行数据清洗；数据清洗模块，连接所述设备数据传递模块，用于通过所述数据清洗装置根据预设的所述清洗策略对不同类型的所述设备数据进行数据清洗，得到经数据清洗后的所述设备数据；清洗数据导出模块，连接所述数据清洗模块，用于提供给所述用户导出清洗后的所述设备数据；清洗数据存储模块，连接所述数据清洗模块，用于存储清洗后的所述设备数据。作为本专利技术的一种优选方案，所述数据清洗装置以代码块或配置文件的形式配置到所述工业设备上。作为本专利技术的一种优选方案，所述数据清洗装置通过正则表达式模式匹配出所述设备数据对应的数据类型。本专利技术还提供了一种数据清洗设备，所述数据清洗设备包括存储器和与所述存储器耦接的处理器，所述存储器用于存储程序数据，所述处理器执行所述程序数据时可实现所述的数据清洗方法。本专利技术另外还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序数据，所述程序数据在被处理器执行时，可实现所述的数据清洗方法。本专利技术将针对不同类型的设备数据的数据清洗策略集成在数据清洗装置中，数据清洗装置以代码块或者配置文件的形式保存，用户只需要将数据清洗装置配置到工业设备中，即可实现设备端对设备数据的自动清洗，简化了数据清洗的难度，提高了数据清洗的效率。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一实施例所述的数据清洗方法的步骤图；图2是本专利技术一实施例所述的数据清洗系统的系统结构示意图。具体实施方式下面结合附图并通过具体实施方式来进一步说明本专利技术的技术方案。其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本专利技术的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。本专利技术实施例的附图中相同或相似的标号对应相同或相似的部件；在本专利技术的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。在本专利技术的描述中，除非另有明确的规定和限定，若出现术语“连接”等指示部件之间的连接关系，该术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本专利技术中的具体含义。图1示出了本专利技术一实施例所述的数据清洗方法的步骤图，如图1所示，该数据清洗方法包括：将数据清洗装置嵌入到工业设备中，数据清洗装置中集成有清洗不同类型的设备数据的清洗策略；获取工业设备产生的待清洗的设备数据，并将设备数据传递给数据清洗装置进行数据清洗；数据清洗装置根据预设的清洗策略对不同类型的设备数据进行数据清洗；将清洗后的设备数据导出并存储。为了简化设备端的数据清洗过程，降低人为开发数据清洗程序的复杂度，优选地，数据清洗装置以配置文件或代码块的形式配置到工业设备上。用户只要经过简单的配置，无需复杂的代码编程，即可完成对工业设备的数据清洗功能配置。获取到工业设备产生的待清洗的设备数据后，数据清洗装置首先需要判断出设备数据的数据类型，然后才能按照预设的清洗策略对不同类型的设备数据进行数据清洗。本专利技术通过正则表达式模式匹配出设备数据对应的数据类型。以下对数据类型的匹配过程进行简要阐述：本实施例中，数据清洗装置可以看作是Unix管道的演进，数据网关获取到工业设备产生的设备数据后将每一条记录通过数据清洗装置的Unix管道传递给readLine命令。readLine使用正则表达式模式匹配数据类型，以提取线的一些子串。readLine命令将一条记录转换为零条或多条记录。记录是一组命名本文档来自技高网...

【技术保护点】
1.一种数据清洗方法，其特征在于，所述数据清洗方法包括：/n将数据清洗装置嵌入到工业设备上，所述数据清洗装置中集成有清洗不同类型的设备数据的清洗策略；/n获取所述工业设备产生的待清洗的所述设备数据，并将所述设备数据传递给所述数据清洗装置进行数据清洗；/n所述数据清洗装置根据预设的所述清洗策略对不同类型的所述设备数据进行数据清洗；/n将清洗后的所述设备数据导出并存储。/n

【技术特征摘要】
1.一种数据清洗方法，其特征在于，所述数据清洗方法包括：
将数据清洗装置嵌入到工业设备上，所述数据清洗装置中集成有清洗不同类型的设备数据的清洗策略；
获取所述工业设备产生的待清洗的所述设备数据，并将所述设备数据传递给所述数据清洗装置进行数据清洗；
所述数据清洗装置根据预设的所述清洗策略对不同类型的所述设备数据进行数据清洗；
将清洗后的所述设备数据导出并存储。


2.根据权利要求1所述的数据清洗方法，其特征在于，所述数据清洗装置以配置文件或代码块的形式配置到所述工业设备上。


3.根据权利要求1所述的数据清洗方法，其特征在于，所述数据清洗装置通过正则表达式模式匹配出所述设备数据对应的数据类型。


4.一种数据清洗系统，可实现如权利要求1～3任意一项所述的数据清洗方法，其特征在于，所述数据清洗系统包括：
数据清洗装置配置模块，用于提供给用户将数据清洗装置配置到工业设备中，所述数据清洗装置中集成有清洗不同类型的设备数据的清洗策略；
设备数据获取模块，用于获取所述工业设备产生的待清洗的所述设备数据；
设备数据传递模块，连接所述设备数据获取模块，用于将所获取...

【专利技术属性】
技术研发人员：高响，
申请(专利权)人：上海微亿智造科技有限公司，常州微亿智造科技有限公司，
类型：发明
国别省市：上海;31