System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及物联网领域,具体地,涉及一种物联网系统中基于规则的数据预处理方法、设备及存储介质。
技术介绍
1、当今时代是万物互联时代,生产运营管理离不开联网设施的信号数据。这些数据由于传感器采集、传输、转换中的精度降低、故障、卡阻等多种原因,会导致数据异常,给后续的数据分析带来误差和错误,因此,对接入的数据进行预处理已成为业内的共识。虽然基于大数据的分析可以忽略少量数据的瑕疵,但是,瑕疵的存在就需要更多的数据来训练,增加了计算负荷,同时,训练出的模型应用于具体数据分析时,如果缺乏数据预处理,将因为具体数据量少而使分析结论大相径庭。因此,无论是基于机理的分析还是基于数据驱动的分析,作为原材料的数据集对于提高分析效率都至关重要。
2、目前国内外已经有多种多样的预处理方法,但针对复杂物联数据预处理方法的管理却很少关注。
技术实现思路
1、本专利技术的目的在于解决现有技术的不足,针对物联网系统中需要管理大量物联对象的数据,并需进行数据预处理的实际需要,提出一种物联网系统中基于规则的数据预处理方法及存储介质。
2、为实现上述目的,本专利技术提供一种物联网系统中基于规则的数据预处理方法,包括以下步骤:
3、s1、制定数据预处理规则选项,建立规则选项库;
4、s2、建立物联对象采集数据的预处理规则选项方案;
5、s3、以规则引擎驱动按预处理规则选项方案实施采集数据的预处理,并将处理后的数据存入数据库,供后续分析服务调用。
7、优选的:所述缺失数据处理选项、一致性规则选项、有效性规则选项、合理性规则选项和数据标记选项均设有包括一个默认执行选项。
8、优选的:所述步骤s2中的物联对象的采集数据包括物联对象的状态数据、运行物理量数据、设定数据中的至少一个。
9、优选的:所述步骤s2设定了该物联对象每个采集数据的预处理规则选项,且均给出了由预处理规则默认选项组成的默认预处理规则选项方案。
10、优选的:所述步骤s3中的规则引擎能够按所选定的预处理规则选项方案,对每个采集数据按所设定规则选项执行数据预处理,且存储的数据与预处理规则选项方案id关联。
11、本专利技术还提供一种计算机设备,所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述方法的步骤。
12、本专利技术还提供一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述方法的步骤。
13、与现有技术相比,本申请提出的技术方案具有如下的有益效果:本专利技术提供的方法能对物联网系统中物联对象的数据预处理进行全面、精准的管理,通过对接入数据进行数据缺失、一致性、有效性、合理性判断和处理,以及精准标记,可为后续数据处理、分析、挖掘提供准确、可靠、完备的高质量数据源,提高训练、分析、优化效率及准确性;而且,这种数据预处理管理方式可对物联对象的数据进行多种方式的预处理,从而后续也能分析不同预处理方式对结果的影响,为优选合适的预处理方式提供支持。
本文档来自技高网...【技术保护点】
1.一种物联网系统中基于规则的数据预处理方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种物联网系统中基于规则的数据预处理方法,其特征在于,所述步骤S1中的数据预处理规则选项包括缺失数据处理选项、一致性规则选项、有效性规则选项、合理性规则选项和数据标记选项中的至少一个。
3.根据权利要求2所述的一种物联网系统中基于规则的数据预处理方法,其特征在于,所述缺失数据处理选项、一致性规则选项、有效性规则选项、合理性规则选项和数据标记选项均设有包括一个默认执行选项。
4.根据权利要求1所述的一种物联网系统中基于规则的数据预处理方法,其特征在于,所述步骤S2中的物联对象的采集数据包括物联对象的状态数据、运行物理量数据、设定数据中的至少一个。
5.根据权利要求4所述的一种物联网系统中基于规则的数据预处理方法,其特征在于,所述步骤S2设定了该物联对象每个采集数据的预处理规则选项,且均给出了由预处理规则默认选项组成的默认预处理规则选项方案。
6.根据权利要求1所述的一种物联网系统中基于规则的数据预处理方法,其特征在于,所述步骤
7.一种计算机设备,所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至6任一项所述方法的步骤。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述程序被处理器执行时实现权利要求1至6任一项所述方法的步骤。
...【技术特征摘要】
1.一种物联网系统中基于规则的数据预处理方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种物联网系统中基于规则的数据预处理方法,其特征在于,所述步骤s1中的数据预处理规则选项包括缺失数据处理选项、一致性规则选项、有效性规则选项、合理性规则选项和数据标记选项中的至少一个。
3.根据权利要求2所述的一种物联网系统中基于规则的数据预处理方法,其特征在于,所述缺失数据处理选项、一致性规则选项、有效性规则选项、合理性规则选项和数据标记选项均设有包括一个默认执行选项。
4.根据权利要求1所述的一种物联网系统中基于规则的数据预处理方法,其特征在于,所述步骤s2中的物联对象的采集数据包括物联对象的状态数据、运行物理量数据、设定数据中的至少一个。
5.根据权利要求4所述的一种物联网...
【专利技术属性】
技术研发人员:陈池,郭亚雯,苏文俊,杜滨,郭姜伟,丁鑫,李雪,朱杰人,
申请(专利权)人:上海宝钢节能环保技术有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。