数据预处理系统、方法、计算机设备及可读存储介质技术方案

本发明专利技术公开了一种数据预处理方法，可以用于智能工厂等场景中。所述方法包括：将采集到数据标准化以形成标准化训练数据及标准化测试数据；将所述标准化训练数据及所述标准化测试数据存储在本地节点；通过所述标准化训练数据训练自动机器学习模型以生成训练完成的自动机器学习模型及模型参数；将训练完成的自动机器学习模型的表达式写入智能合约；通过智能合约将所述模型参数同步至区块链节点；读取所述本地节点的标准化测试数据；调用写入训练完成的自动机器学习模型的表达式的智能合约对所述标准化测试数据进行预处理。本发明专利技术技术方案能够适应复杂场景，提高区块链的数据处理能力。

【技术实现步骤摘要】
数据预处理系统、方法、计算机设备及可读存储介质
本专利技术涉及人工智能
，尤其涉及一种数据预处理系统、方法、计算机设备及可读存储介质。
技术介绍
随着科技的发展，人们开始区块链技术和机器学习应用与工业场景中。在工业场景中，工业物联网中多源数据的完整性和有效性往往决定其应用场景的有效性。鉴于区块链本身的不可篡改特性，我们认为将区块链技术运用到工业场景中，则可以确保工业场景中的各个数据的有效性。然而在实际使用过程中，本专利技术人发现：由于各类数据在采集环境或传输环境均容易受到外界干扰，容易出现数据丢失现象。目前区块链技术中的基于简单规则的合约缺乏数据处理能力，对缺失数据可能无法及时发现和处理，无法保证数据的完整性和有效性。为克服上述问题，我们代替使用了机器学习算法，其可以以数据预处理的方式通过拟合工业数据缺失值进行预测填充。但是这种数据预处理方式缺乏安全性，其在对数据防护的安全层面上存在不足，在数据处理的过程中由于硬件故障、断电、死机、人为的误操作、程序缺陷、病毒或黑客等造成的数据库损坏或数据丢失现象，且依赖于中心化数据库，使核心数据库服务器负载较大，并且存在信任问题。此外、由于工业数据属于多源异构数据，针对不同工业场景的机器学习算法可能完全不同，难以选择一个通用的机器学习算法适应不同工业场景。
技术实现思路
有鉴于此，本专利技术提出一种数据预方法，能够适应复杂场景，提高区块链的数据处理能力。首先，为实现上述目的，本专利技术提出一种数据处理方法，所述方法包括：将收集到数据标准化以形成标准化训练数据及标准化测试数据；将所述标准化训练数据及所述标准化测试数据存储在本地节点；通过所述标准化训练数据训练自动机器学习模型以生成训练完成的自动机器学习模型及模型参数；将训练完成的自动机器学习模型的表达式写入智能合约；通过智能合约将所述模型参数同步至区块链节点；读取所述本地节点的标准化测试数据；调用写入训练完成的自动机器学习模型的表达式的智能合约对所述标准化测试数据进行预处理。优选地，所述调用写入训练完成的自动机器学习模型的表达式的智能合约对所述标准化测试数据进行预处理的步骤，包括：判断所述标准化测试数据是否有数据缺失；若所述标准化测试数据有缺失，补全缺失数据；将处理后的标准化测试数据同步至所述区块链节点。优选地，所述通过标准化训练数据训练自动机器学习模型以生成训练完成的自动机器学习模型及模型参数的步骤，包括：将所述标准化训练数据同步至区块链节点；利用存储在所述区块链节点的标准化训练数据训练所述自动机器学习模型以生成训练完成的自动机器学习模型及模型参数。优选地，方法还包括如下步骤：存储所述训练完成的自动机器学习模型及模型参数至所述本地节点。为了能够适应复杂场景，提高区块链的数据处理能力，本专利技术还提供了一种计算机设备，计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述数据预处理方法的步骤。为了能够适应复杂场景，提高区块链的数据处理能力，本专利技术还提供了一种数据预处理系统，所述系统包括：收集模块，用于收集外部采集设备采集到的数据，还用于将收集到的数据标准化以形成标准化训练数据及标准化测试数据并存储在本地节点；自动机器学习模块，用于利用所述标准化训练数据训练自动机器学习模型以生成训练完成的自动机器学习模型及模型参数；区块链模块，用于将所述训练完成的自动机器学习模型的表达式写入智能合约，通过所述智能合约将所述模型参数同步至区块链节点，还用于读取所述本地节点的标准化测试数据并调用写入所述训练完成的自动机器学习模型的表达式的智能合约对所述标准化测试数据进行预处理。优选地，所述区块链模块还用于：通过所述写入所述训练完成的自动机器学习模型的表达式的智能合约判断所述标准化测试数据是否有数据缺失，若有数据缺失，补全缺失数据；将处理后的标准化测试数据同步至所述区块链节点。优选地，所述区块链模块，还用于将标准化训练数据同步至所述区块链节点；所述自动机器学习模块，还利用存储在所述区块链节点的标准化训练数据训练所述自动机器学习模型。优选地，所述收集模块，还用于通过所述本地节点存储所述训练完成的自动机器学习模型及所述模型参数。为了能够适应复杂场景，提高区块链的数据处理能力，本专利技术还提供了一种可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述数据预处理方法的步骤。相较于现有技术，本实施方式所提出的数据处理方法，首先将采集到数据标准化以形成标准化训练数据及标准化测试数据并将标准化训练数据及标准化测试数据存储在本地节点；接着通过标准化训练数据训练自动机器学习模型以生成训练完成的自动机器学习模型及模型参数；进而训练完成的自动机器学习模型的表达式写入智能合约及通过智能合约将模型参数同步至区块链节点；其次读取本地节点的标准化测试数据；最后调用写入训练完成的自动机器学习模型的表达式的智能合约对标准化测试数据进行预处理，能够适应复杂场景，提高区块链的数据处理能力。附图说明图1是本专利技术数据处理方法一实施方式的流程示意图；图2是本专利技术数据处理系统一实施方式的功能模块示意图；图3是本专利技术适于实现数据处理方法的计算机设备的硬件架构示意图。附图标记：计算机设备300存储器310处理器320网络接口330数据处理系统200收集模块201自动机器学习模块202区块链模块203本专利技术目的的实现、功能特点及优点将结合实施方式，参照附图做进一步说明。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施方式，对本专利技术进行进一步详细说明。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施方式中所描述的实施方式并不代表与本专利技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本专利技术的一些方面相一致的装置和方法的例子。应当理解，此处所描述的具体实施方式仅用以解释本专利技术，并不用于限定本专利技术。基于本专利技术中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本专利技术保护的范围。在本公开使用的术语是仅仅出于描述特定实施方式的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。应当理解，尽管在本公本文档来自技高网...

【技术保护点】
1.一种数据预处理方法，其特征在于，所述方法包括：/n将收集到数据标准化以形成标准化训练数据及标准化测试数据；/n将所述标准化训练数据及所述标准化测试数据存储在本地节点；/n通过所述标准化训练数据训练自动机器学习模型以生成训练完成的自动机器学习模型及模型参数；/n将训练完成的自动机器学习模型的表达式写入智能合约；/n通过智能合约将所述模型参数同步至区块链节点；/n读取所述本地节点的标准化测试数据；/n调用写入训练完成的自动机器学习模型的表达式的智能合约对所述标准化测试数据进行预处理。/n

【技术特征摘要】
1.一种数据预处理方法，其特征在于，所述方法包括：
将收集到数据标准化以形成标准化训练数据及标准化测试数据；
将所述标准化训练数据及所述标准化测试数据存储在本地节点；
通过所述标准化训练数据训练自动机器学习模型以生成训练完成的自动机器学习模型及模型参数；
将训练完成的自动机器学习模型的表达式写入智能合约；
通过智能合约将所述模型参数同步至区块链节点；
读取所述本地节点的标准化测试数据；
调用写入训练完成的自动机器学习模型的表达式的智能合约对所述标准化测试数据进行预处理。


2.如权利要求1的数据预处理方法，其特征在于，所述调用写入训练完成的自动机器学习模型的表达式的智能合约对所述标准化测试数据进行预处理的步骤，具体包括：
判断所述标准化测试数据是否有数据缺失；
若所述标准化测试数据有缺失，补全缺失数据；
将处理后的标准化测试数据同步至所述区块链节点。


3.如权利要求1的数据预处理方法，其特征在于，所述通过标准化训练数据训练自动机器学习模型以生成训练完成的自动机器学习模型及模型参数的步骤，包括：
将所述标准化训练数据同步至区块链节点；
利用存储在所述区块链节点的标准化训练数据训练所述自动机器学习模型以生成训练完成的自动机器学习模型及模型参数。


4.如权利要求1的数据预处理方法，其特征在于，还包括如下步骤：
存储所述训练完成的自动机器学习模型及模型参数至所述本地节点。


5.一种数据预处理系统，其特征在于，所述系统包括：
收集模块，用于收集外部采集设备采集到的数据，还用于将收集到的数据...

【专利技术属性】
技术研发人员：张楠，王健宗，瞿晓阳，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44