【技术实现步骤摘要】
本专利技术涉及java/系统，具体地说是一种工业实时数据管理方法、系统、设备及介质。
技术介绍
1、在工业自动化和工业物联网领域，实时数据采集、存储以及查询是关键技术之一。现有的工业实时数据管理系统通常面临数据采集效率低、数据存储性能差、系统扩展性不足等问题，无法满足现代工业环境对数据处理的高要求，具体为：
2、①数据采集效率低：现有系统在面对大量数据源时，数据采集效率低，无法满足高频率数据采集的需求。
3、②数据存储性能差：现有系统的数据存储模块在处理大规模数据时性能不佳，影响了实时性的要求。
4、③数据可靠性不高：现有系统在网络不稳定或数据库不可用时，容易导致数据丢失，无法保证数据的可靠性。
5、④系统复杂度高：现有系统的架构复杂，难以维护和管理，增加了运维成本。
6、故如何提高数据采集效率、优化数据存储性能并增强数据的查询效率是目前亟待解决的技术问题。
技术实现思路
1、本专利技术的技术任务是提供一种工业实时数据管理方法、系统、设备及介质，来解决如何提高数据采集效率、优化数据存储性能并增强数据的查询效率的问题。
2、本专利技术的技术任务是按以下方式实现的，一种工业实时数据管理方法，该方法具体如下：
3、数据采集：从多种工业设备和传感器中高效采集实时数据，并对数据进行预处理和缓存；
4、数据存储：采用高性能时序数据库对数据进行存储，支持数据分区和数据压缩；
5、数据查询：
6、作为优选，数据采集具体如下：
7、通过编写数据源适配器与不同类型的数据源设备进行通信，实现modbus、opc ua、mqtt、http多种工业协议，并采用插件模块化设计，根据需要动态加载或卸载数据源适配器，方便扩展和维护；
8、设定采集周期，定期或根据事件触发从数据源设备读取数据，并通过配置文件或用户接口调整采集频率，适应不同应用场景的需求；
9、采集引擎支持多线程并行处理，能够同时处理多个数据源设备，提高数据采集的效率和吞吐量，并对采集到的数据进行去重、数据清洗、格式转换的预处理，确保数据的准确性和一致性；
10、网络不稳定或数据库不可用时，临时将数据存储再内存中，保证数据不丢失；其中，内存缓存采用先进的数据结构，支持快速读写操作；当内存缓存满时，数据自动转存到本地持久化存储(如磁盘)，待网络恢复或数据库可用时再进行批量写入，同时对缓存数据采用高效压缩算法进行压缩存储，减少存储空间的占用。
11、作为优选，数据存储具体如下：
12、数据分区：根据时间或其他关键字段对数据进行分区存储，提高查询效率；其中，数据分区是根据具体业务需求进行配置，支持动态调整；
13、数据压缩：采用先进的压缩算法(如gorilla、lz4等)对存储的数据进行压缩，在不影响读取性能的前提下，最大限度地节省存储空间。
14、更优地，数据查询具体如下：
15、提供统一的数据查询api，支持实时数据和历史数据的查询；
16、通过数据索引层建立高效的索引机制，提高数据检索的速度；
17、通过数据缓存层采用缓存机制，缓存热点数据，减少数据库的查询压力，提高查询性能。
18、一种工业实时数据管理系统，该系统包括：
19、数据采集模块，用于从各种工业设备和传感器中采集实时数据，并对数据进行预处理和缓存；
20、数据存储模块，用于采用高性能时序数据库(如kaiwudb、influxdb等)对数据进行持久化存储；其中，时序数据库能够高效地存储和处理大规模时序数据；
21、数据查询模块，用于提供数据的快速检索功能，支持建立数据索引和数据缓存的查询。
22、作为优选，所述数据采集模块包括：
23、数据源适配器，用于与不同类型的数据源设备进行通信；
24、采集引擎，用于定期或根据事件触发从数据源设备读取数据，并进行预处理；
25、数据预处理子模块，用于同时处理多个数据源设备，提高数据采集的效率和吞吐量，并对采集到的数据进行去重、数据清洗、格式转换的预处理，确保数据的准确性和一致性；
26、数据缓存单元，用于网络不稳定或数据库不可用时，临时将数据存储在内存中，保证数据不丢失；其中，内存缓存采用先进的数据结构，支持快速读写操作；内存缓存满时，数据自动转存到本地持久化存储(如磁盘)，待网络恢复或数据库可用时再进行批量写入，并采用高效压缩算法对缓存数据进行压缩存储，减少存储空间的占用。
27、作为优选，所述数据存储模块包括：
28、数据写入层，用于接收并处理采集的数据，并将采集的数据写入存储层；
29、数据存储层，用于采用时序数据库对数据进行持久化存储，并支持数据分区和数据压缩。
30、更优地，所述数据查询模块包括：
31、查询api子模块，用于提供统一的数据查询api，支持实时数据和历史数据的查询；
32、数据索引层，用于建立高效的索引机制，提高数据检索的速度；
33、数据缓存层，用于采用缓存机制，缓存热点数据，减少数据库的查询压力，提高查询性能。
34、一种电子设备，包括：存储器和至少一个处理器；
35、其中，所述存储器上存储有计算机程序；
36、所述至少一个处理器执行所述存储器存储的计算机程序，使得所述至少一个处理器执行如上述的工业实时数据管理方法。
37、一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如上述的工业实时数据管理方法。
38、本专利技术的工业实时数据管理方法、系统、设备及介质具有以下优点：
39、(一)本专利技术支持多种工业协议，并且面对大量数据源时，提高数据采集的综合效率；
40、(二)本专利技术的数据源采集模块通过数据缓存单元，提高系统采集的可靠性；
41、(三)本专利技术的数据存储模块采用时序数据库进行存储，极大的提高了数据的存储和处理性能；采用数据压缩最大限度的节省存储空间；
42、(四)本专利技术的数据查询模块通过缓存机制，减少热点数据查询压力并提高数据响应性能；
43、(五)本专利技术提高了数据采集效率、优化了数据存储性能并增强了系统数据的查询效率，同时减少了系统复杂度，降低了系统运营成本。
本文档来自技高网...【技术保护点】
1.一种工业实时数据管理方法，其特征在于，该方法具体如下：
2.根据权利要求1所述的工业实时数据管理方法，其特征在于，数据采集具体如下：
3.根据权利要求1所述的工业实时数据管理方法，其特征在于，数据存储具体如下：
4.根据权利要求1-3中任一项所述的工业实时数据管理方法，其特征在于，数据查询具体如下：
5.一种工业实时数据管理系统，其特征在于，该系统包括：
6.根据权利要求5所述的工业实时数据管理系统，其特征在于，所述数据采集模块包括：
7.根据权利要求5所述的工业实时数据管理系统，其特征在于，所述数据存储模块包括：
8.根据权利要求5-7中任一项所述的工业实时数据管理系统，其特征在于，所述数据查询模块包括：
9.一种电子设备，其特征在于，包括：存储器和至少一个处理器；
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如权利要求1至4中任一项所述的工业实时数据管理方法。
【技术特征摘要】
1.一种工业实时数据管理方法，其特征在于，该方法具体如下：
2.根据权利要求1所述的工业实时数据管理方法，其特征在于，数据采集具体如下：
3.根据权利要求1所述的工业实时数据管理方法，其特征在于，数据存储具体如下：
4.根据权利要求1-3中任一项所述的工业实时数据管理方法，其特征在于，数据查询具体如下：
5.一种工业实时数据管理系统，其特征在于，该系统包括：
6.根据权利要求5所述的工业实时数据管理系统，其特征在于，...
【专利技术属性】
技术研发人员：刘强，
申请(专利权)人：上海沄熹科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。