System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据质量提升网关及方法技术_技高网

数据质量提升网关及方法技术

技术编号:42706760 阅读:2 留言:0更新日期:2024-09-13 11:59
数据质量提升网关及方法,涉及生态环境在线监测数据采集传输技术领域。为解决现有技术中存在的,在数据采集传输工作中,难以确保数据真实有效而且不易被篡改,和提高数据质量的技术问题,本发明专利技术提供的技术方案为:包括:数据采集模块,采集数据并进行预处理;经纬度定位模块,为预处理后的数据匹配经纬度信息;区块链模块,将匹配了经纬度信息的数据进行加密处理;边缘计算模块,基于神经网络和AI算力,对加密处理后的数据进行:根据预设条件进行数据筛选、进行数据储存、进行数据融合以及对数据进行去噪和降维处理;核心处理单元,对进行数据压缩后的数据进行解密处理,并上传至上级环保平台。可以应用于生态环境监测的工作中。

【技术实现步骤摘要】

涉及生态环境在线监测数据采集传输。


技术介绍

1、传统的环保数据采集传输仪(以下简称数采仪)通过采集污染源自动监控设备的工作参数、运行状态及环境监测数据,将所有数据按国标hj212格式打包之后,明文传输到国家环保平台。目前,污染源在线监测系统以环保平台中心服务器提供服务,属于高度集中的系统架构,在数据传输过程中,易受到攻击导致数据被篡改,无法保证环境监测数据的真实性,而且给生态环境部门的监管增加了难度。

2、另外,传统的数采仪设备仅采集实时数据,经简单的统计计算、存储后,通过无线或有线方式传输至国家、各省市各级环保平台。海量的数据要求平台有强大的存储和数据挖掘能力。在实际应用中,存在大量冗余的无效数据,增加了数据处理成本,不符合环保监测的绿色、节能的目标相悖。

3、因此,如何确保获取到的环境监测数据真实有效而且不易被篡改,强化非现场监管,提高数据质量,压缩数据大小,减少传输成本,成为目前亟待解决的难点问题。


技术实现思路

1、为解决现有技术中存在的,在数据采集传输工作中,如何确保获取到的环境监测数据真实有效而且不易被篡改,强化非现场监管,提高数据质量,压缩数据大小,减少传输成本,成为目前亟待解决的难点的技术问题,本专利技术提供的技术方案为:

2、数据质量提升网关,所述网关包括:

3、数据采集模块,用于采集数据并进行预处理;

4、经纬度定位模块,用于为预处理后的所述数据匹配经纬度信息;

5、区块链模块,用于将匹配了经纬度信息的所述数据进行加密处理;

6、边缘计算模块,基于神经网络和ai算力,对加密处理后的所述数据进行:根据预设条件进行数据筛选、进行数据储存、进行数据融合以及对数据进行去噪和降维处理;

7、核心处理单元,用于对进行数据压缩后的所述数据进行解密处理,并上传至上级环保平台。

8、进一步,提供一个优选实施方式,所述数据为:污染物监测数据、仪器参数数据或设备工作状态数据。

9、进一步,提供一个优选实施方式,所述预处理包括:对数据的格式化与整合。

10、进一步,提供一个优选实施方式,根据预设条件进行数据筛选具体为:基于神经网络处理单元,通过预设模型对所述数据进行筛选。

11、进一步,提供一个优选实施方式,所述预设模型具体为:分类模型,用于识别异常数据或预设关键事件。

12、进一步,提供一个优选实施方式,进行数据融合具体为:基于神经网络处理单元,利用深度学习模型对多个满足预设相似条件的所述数据进行融合和聚合。

13、进一步,提供一个优选实施方式,预设相似条件根据数据来源的监测点之间关联性和相互影响进行判断。

14、基于同一专利技术构思,本专利技术还提供了数据质量提升方法,所述方法包括:

15、采集数据并进行预处理的步骤;

16、为预处理后的所述数据匹配经纬度信息的步骤;

17、将匹配了经纬度信息的所述数据进行加密处理的步骤;

18、基于神经网络和ai算力,对加密处理后的所述数据进行:根据预设条件进行数据筛选、进行数据储存、进行数据融合以及对数据进行去噪和降维处理的优化步骤;

19、对进行优化步骤后的所述数据进行解密处理,并上传至上级环保平台的步骤。

20、基于同一专利技术构思,本专利技术还提供了计算机储存介质,用于储存计算机程序,当所述计算机程序被计算机读取时,所述计算机执行所述的方法。

21、基于同一专利技术构思,本专利技术还提供了计算机,包括处理器和储存介质,当所述处理器读取所述储存介质中储存的计算机程序时,所述计算机执行所述的方法。

22、基于同一专利技术构思,本专利技术还提供了计算机程序产品,包括计算机程序,当所述计算机程序被处理器读取时,实现权所述的方法。

23、与现有技术相比,本专利技术提供的技术方案的有益之处在于:

24、本专利技术提供的数据质量提升网关,通过使用区块链技术,解决了传统环保数据采集传输中易受攻击导致数据被篡改的问题,保证了环境监测数据的真实性。

25、与现有研究现状相比,传统的污染源在线监测系统容易受到攻击,数据的真实性无法保证。而该方案通过使用区块链技术,确保了数据的不可篡改性,提高了数据的可靠性。

26、本专利技术提供的数据质量提升网关,通过引入边缘计算功能,对接入的大量数据进行筛选、存储、融合和优化等操作,提高了数据质量,减轻了云端平台的存储和计算压力。

27、与现有研究现状相比,传统的污染源在线监测系统需要具备强大的存储和数据挖掘能力,而该方案通过边缘计算功能,减少了冗余的无效数据,降低了数据处理成本。

28、本专利技术提供的数据质量提升网关,通过将监测数据直接上链到区块链网络,并使用加密算法对数据进行加密处理,并附加时间戳和哈希值,保证了数据的不可篡改性。相比于传统的加密技术和安全传输协议,区块链技术提供了更高的数据安全性,有效解决了数据篡改的问题。

29、本专利技术提供的数据质量提升网关,将监测数据直接源头上链到区块链网络,减少了中间环节,充分排除了人为篡改源头数据的可能性,确保了监测数据在源头上的真实可靠性。相比于传统的数据传输方式,这种方式能够更有效地保证数据来源的真实性。

30、本专利技术提供的数据质量提升网关,边缘计算模块可以内置神经网络处理单元和ai算力,能够在接近数据源的地方进行数据筛选、存储、融合和优化等操作,从而提高了数据处理的效率。与传统的云端计算相比,边缘计算技术能够减少数据传输量和降低云端平台的存储和计算压力。

31、本专利技术提供的数据质量提升网关,可以应用于生态环境监测部门的工作中,用于采集和传输环境监测数据,确保数据的真实性和可靠性,并减轻云端平台的存储和计算压力。

本文档来自技高网...

【技术保护点】

1.数据质量提升网关,其特征在于,所述网关包括:

2.根据权利要求1所述的数据质量提升网关,其特征在于,所述数据为:污染物监测数据、仪器参数数据或设备工作状态数据。

3.根据权利要求1所述的数据质量提升网关,其特征在于,所述预处理包括:对数据的格式化与整合。

4.根据权利要求1所述的数据质量提升网关,其特征在于,根据预设条件进行数据筛选具体为:基于神经网络处理单元,通过预设模型对所述数据进行筛选。

5.根据权利要求5所述的数据质量提升网关,其特征在于,所述预设模型具体为:分类模型,用于识别异常数据或预设关键事件。

6.根据权利要求1所述的数据质量提升网关,其特征在于,进行数据融合具体为:基于神经网络处理单元,利用深度学习模型对多个满足预设相似条件的所述数据进行融合和聚合。

7.数据质量提升方法,其特征在于,所述方法包括:

8.计算机储存介质,用于储存计算机程序,其特征在于,当所述计算机程序被计算机读取时,所述计算机执行权利要求7所述的方法。

9.计算机,包括处理器和储存介质,其特征在于,当所述处理器读取所述储存介质中储存的计算机程序时,所述计算机执行权利要求7所述的方法。

10.计算机程序产品,包括计算机程序,其特征在于,当所述计算机程序被处理器读取时,实现权利要求7所述的方法。

...

【技术特征摘要】

1.数据质量提升网关,其特征在于,所述网关包括:

2.根据权利要求1所述的数据质量提升网关,其特征在于,所述数据为:污染物监测数据、仪器参数数据或设备工作状态数据。

3.根据权利要求1所述的数据质量提升网关,其特征在于,所述预处理包括:对数据的格式化与整合。

4.根据权利要求1所述的数据质量提升网关,其特征在于,根据预设条件进行数据筛选具体为:基于神经网络处理单元,通过预设模型对所述数据进行筛选。

5.根据权利要求5所述的数据质量提升网关,其特征在于,所述预设模型具体为:分类模型,用于识别异常数据或预设关键事件。

6.根据权利要求1所述...

【专利技术属性】
技术研发人员:何凯刘伟高群杨博浩王真真陈强生
申请(专利权)人:山东工商学院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1