【技术实现步骤摘要】
本专利技术涉及大数据处理，尤其涉及一种基于时空大数据的工业时序数据存储及预处理方法及装置。
技术介绍
1、随着大数据(big data)和人工智能(artificial intelligence，ai)技术的发展，基于数据的人工智能已应用到各行各业。工业时序数据采集技术的成熟，催生了数据与ai算法融合的技术体系。基于greenplum(一种分布式数据库系统，底层为postgresql集群)/postgresql(一种关系型数据库，能够实现时序数据的存储与计算、兼容ai引擎及过程化编程函数，如plpython脚本)生态的大数据技术无缝衔接了madlib(一种基于greenplum/postgressql的ai引擎)完整的机器学习引擎，使得基于大数据的ai方法具备了高效实现的可能。
2、电力、机械领域是我国能源、制造业的重要模块，也是国家主要经济支柱。通过传感器实时采集数据，并结合各种时序数据存储、分析技术，以ai分析手段结合各类预测模型对未来数据进行预测推荐,有利于工业过程高效准确实现自动控制。
3、然而对于各类时序数据的实时采集，可能存在不同设备不同频率、甚至同一个测点频率不固定的情况。例如，工业现场某传感器一秒钟采集1000条数据且带有完整时间戳的场景下，因采集频率过高，数据传输、落地过程中容易产生各种缺失现象，导致真实入库后的数据通常是500条到1000条之间。非均匀间隔的时序数据存储后在进行ai分析时一方面需要标准化间隔处理，一方面又需要样本抽稀，因此传统的存储方法无法满足当今工业的实时存储分析需要
4、上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
1、本专利技术的主要目的在于提供了一种基于时空大数据的工业时序数据存储及预处理方法及装置，旨在解决现有技术无法便捷高效地实现工业高频/超高频时序数据的存储及预处理，并大幅节省存储空间，以便后续工业高频/超高频时序数据的ai应用的技术问题。
2、为实现上述目的，本专利技术提供了一种基于时空大数据的工业时序数据存储及预处理方法，所述方法包括以下步骤：
3、在postgres数据库中构建表结构，所述表结构包括若干待存储的字段，多个待存储的字段包括待存储的时间戳、测点名称及数值点串，所述时间戳为timestamp类型，所述测点名称为text类型、所述数值点串为geometry类型；
4、将若干由实时采集的工业时序数据中的时间戳和测点名称对应的数值组成的point类型的点在postgis中通过米制坐标系转换为平面投影的point类型的米制坐标；
5、将所有米制坐标依序连线，以形成linestring线串，并将所述linestring线串存储至所述表结构中geometry类型对应的字段，将工业时序数据中的时间戳存储至所述表结构中timestamp类型对应的字段，将工业时序数据中的测点名称存储至所述表结构中text类型对应的字段；
6、根据所述工业时序数据中的时间戳对所述linestring线串的geometry字段通过st_union()函数进行组合拼接处理，以获得不同分组下的测点名称在对应时间段内组合拼接的linestring线串；
7、使用st_simplify函数对所述组合拼接的linestring线串进行抽稀处理，获得抽稀后的linestring类型的数据曲线。
8、可选地，所述根据所述工业时序数据中的时间戳对所述linestring线串的geometry字段通过st_union()函数进行组合拼接处理，以获得不同分组下的测点名称在对应时间段内组合拼接的linestring线串的步骤，包括：
9、对所述工业时序数据中不同分组下的测点名称对应的若干测点按照所述工业时序数据中的时间戳进行排序，获得测点排序结果；
10、根据所述测点排序结果对所述linestring线串的geometry字段通过st_union()函数进行组合拼接处理，以获得不同分组下的测点名称在对应时间段内组合拼接的linestring线串。
11、可选地，所述基于时空大数据的工业时序数据存储及预处理方法中所有步骤基于plpython函数实现。
12、此外，为实现上述目的，本专利技术还提出一种基于时空大数据的工业时序数据存储及预处理装置，所述基于时空大数据的工业时序数据存储及预处理装置包括：
13、表结构构建模块，用于在postgres数据库中构建表结构，所述表结构包括若干待存储的字段，多个待存储的字段包括待存储的时间戳、测点名称及数值点串，所述时间戳为timestamp类型，所述测点名称为text类型、所述数值点串为geometry类型；
14、坐标转换模块，用于将若干由实时采集的工业时序数据中的时间戳和测点名称对应的数值组成的point类型的点在postgis中通过米制坐标系转换为平面投影的point类型的米制坐标；
15、线串生成模块，用于将所有米制坐标依序连线，以形成linestring线串，并将所述linestring线串存储至所述表结构中geometry类型对应的字段，将工业时序数据中的时间戳存储至所述表结构中timestamp类型对应的字段，将工业时序数据中的测点名称存储至所述表结构中text类型对应的字段；
16、线串拼接模块，用于根据所述工业时序数据中的时间戳对所述linestring线串的geometry字段通过st_union()函数进行组合拼接处理，以获得不同分组下的测点名称在对应时间段内组合拼接的linestring线串；
17、曲线抽稀模块，用于使用st_simplify函数对所述组合拼接的linestring线串进行抽稀处理，获得抽稀后的linestring类型的数据曲线。
18、可选地，所述线串拼接模块，还用于对所述工业时序数据中不同分组下的测点名称对应的若干测点按照所述工业时序数据中的时间戳进行排序，获得测点排序结果；
19、所述线串拼接模块，还用于根据所述测点排序结果对所述linestring线串的geometry字段通过st_union()函数进行组合拼接处理，以获得不同分组下的测点名称在对应时间段内组合拼接的linestring线串。
20、可选地，所述基于时空大数据的工业时序数据存储及预处理装置中所有模块的功能基于plpython函数实现。
21、本专利技术中，在postgres数据库中构建表结构，所述表结构包括若干待存储的字段，多个待存储的字段包括待存储的时间戳、测点名称及数值点串，所述时间戳为timestamp类型，所述测点名称为text类型、所述数值点串为geometry类型；将若干由实时采集的工业时序数据中本文档来自技高网...
【技术保护点】
1.一种基于时空大数据的工业时序数据存储及预处理方法，其特征在于，所述基于时空大数据的工业时序数据存储及预处理方法包括以下步骤：
2.如权利要求1所述的基于时空大数据的工业时序数据存储及预处理方法，其特征在于，所述根据所述工业时序数据中的时间戳对所述linestring线串的geometry字段通过st_union()函数进行组合拼接处理，以获得不同分组下的测点名称在对应时间段内组合拼接的linestring线串的步骤，包括：
3.如权利要求1所述的基于时空大数据的工业时序数据存储及预处理方法，其特征在于，所述基于时空大数据的工业时序数据存储及预处理方法中所有步骤基于Plpython函数实现。
4.一种基于时空大数据的工业时序数据存储及预处理装置，其特征在于，所述基于时空大数据的工业时序数据存储及预处理装置包括：
5.如权利要求4所述的基于时空大数据的工业时序数据存储及预处理装置，其特征在于，所述线串拼接模块，还用于对所述工业时序数据中不同分组下的测点名称对应的若干测点按照所述工业时序数据中的时间戳进行排序，获得测点排序结果；>
6.如权利要求4所述的基于时空大数据的工业时序数据存储及预处理装置，其特征在于，所述基于时空大数据的工业时序数据存储及预处理装置中所有模块的功能基于Plpython函数实现。
...【技术特征摘要】
1.一种基于时空大数据的工业时序数据存储及预处理方法，其特征在于，所述基于时空大数据的工业时序数据存储及预处理方法包括以下步骤：
2.如权利要求1所述的基于时空大数据的工业时序数据存储及预处理方法，其特征在于，所述根据所述工业时序数据中的时间戳对所述linestring线串的geometry字段通过st_union()函数进行组合拼接处理，以获得不同分组下的测点名称在对应时间段内组合拼接的linestring线串的步骤，包括：
3.如权利要求1所述的基于时空大数据的工业时序数据存储及预处理方法，其特征在于，所述基于时空大数据的工业时序数据存储及预处理方法中所...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。