一种面向地质灾害监测的数据质量评价方法及系统技术方案

本发明专利技术实施例提供了一种面向地质灾害监测的数据质量评价方法及系统，涉及地质灾害监测技术领域。其中的方法包括：获取传感器采集的监测数据和所述传感器的数据处理参数，所述数据处理参数用于反映所述传感器的数据处理规则；基于所述数据处理参数判断所述监测数据是否存在异常，得到数据处理参数；根据所述数据处理参数计算所述监测数据在各个评价维度上的评分；根据各个评价维度的预设权重对所述监测数据在各个评价维度上的评分进行加权求和，得到所述传感器采集的监测数据的综合质量评分。本发明专利技术实施例能够实现对地质灾害监测数据的多维度评估，有利于从不同角度为监测人员提供更好的数据决策支持，提高地质灾害监测工作的日常管理效率。作的日常管理效率。作的日常管理效率。

【技术实现步骤摘要】
一种面向地质灾害监测的数据质量评价方法及系统


[0001]本专利技术涉及地质灾害监测
，尤其涉及一种面向地质灾害监测的数据质量评价方法及系统。

技术介绍

[0002]随着地质灾害监测防治工作的不断推进，整个行业对滑坡监测的广度和深度迅速扩大，大量的传感器投入实际使用，在日常的运行过程中形成了海量的监测数据。如何从海量的监测数据中快速高效地发现异常，并对传感器采集的监测数据进行正确有效的评价和管理，已成为当前行业中所必须要解决的问题。
[0003]关于数据质量评价方法的研究主要包括定性评价、定量评价、定性定量相结合的评价。其中定性评价主要采用数据质量调查的方式来给出评价结果；定量评价是一种客观的评价方法，通常采用测量计算、统计分析及建立模型的方式来给出评价结果。
[0004]在地质灾害防治中监测数据多应用于单体监测数据预警研究，如斋藤迪孝模型、灰色模型、时间序列方法和神经网络模型等，但对监测数据质量的研究依然偏少，目前尚未有针对地质灾害监测数据质量相关的评价方法。

技术实现思路

[0005]本专利技术实施例提供一种面向地质灾害监测的数据质量评价方法及系统，可以对地质灾害监测数据的质量进行多维度评估。
[0006]第一方面，本专利技术实施例公开了一种面向地质灾害监测的数据质量评价方法，所述方法包括：获取传感器采集的监测数据和所述传感器的数据处理参数，所述数据处理参数用于反映所述传感器的数据处理规则；基于所述数据处理参数判断所述监测数据是否存在异常；若确定所述监测数据存在异常，则根据所述数据处理参数计算所述监测数据在各个评价维度上的评分；根据各个评价维度的预设权重对所述监测数据在各个评价维度上的评分进行加权求和，得到所述传感器采集的监测数据的综合质量评分。
[0007]可选地，所述根据所述数据处理参数计算所述监测数据在各个评价维度上的评分，包括：根据所述数据处理参数和各个评价维度对应的评价指标，确定所述监测数据在各个评价维度对应的异常次数；针对每一个评价维度，根据所述评价维度对应的异常次数和预设的异常阈值，计算所述评价维度的初始评分；若所述初始评分大于0，则确定所述监测数据在所述评价维度上的评分等于所述初始评分；
若所述初始评分小于或等于0，则确定所述监测数据在所述评价维度上的评分等于0。
[0008]可选地，所述数据处理参数包括传输字段、固有采集频率和监测量程；所述评价维度包括完整性、可靠性和准确性；所述根据所述数据处理参数和各个评价维度对应的评价指标，确定所述监测数据在各个评价维度对应的异常次数，包括：按照字段缺失指标和数据中断指标，利用所述传输字段、所述固有采集频率确定所述监测数据的完整性异常次数；按照超出量程指标和极端变化指标，利用所述监测量程确定所述监测数据的可靠性异常次数；根据波动异常指标和误差异常指标，确定所述监测数据的准确性异常次数。
[0009]可选地，所述按照字段缺失指标和数据中断指标，利用所述传输字段、所述固有采集频率确定所述监测数据的完整性异常次数，包括：根据所述传输字段判断所述监测数据中每个监测时刻的监测值是否存在字段缺失；若任一监测时刻的监测值存在字段缺失，则对所述监测数据的字段异常次数加1；获取所述监测数据对应的数据采集间隔；根据所述数据采集间隔和所述固有采集频率计算所述监测数据的中断次数；将所述监测数据的字段异常次数与所述中断次数相加，得到所述监测数据的完整性异常次数。
[0010]可选地，所述按照超出量程指标和极端变化指标，利用所述监测量程确定所述监测数据的可靠性异常次数，包括：判断所述监测数据中每个监测时刻对应的监测值是否超出所述监测量程；若任一监测时刻的监测值超出所述监测量程，则对所述监测数据的数值异常次数加1；根据所述监测数据中任意两个监测时刻对应的监测值的变化值和预设变化阈值，确定所述监测数据的极端变化次数；将所述数值异常次数和所述极端变化次数相加，得到所述监测数据的可靠性异常次数。
[0011]可选地，所述根据波动异常指标和误差异常指标，确定所述监测数据的准确性异常次数，包括：基于异常波动监测函数确定所述监测数据的波动异常次数；根据所述监测数据中预设间隔内监测数值的变化情况，确定所述监测数据的误差异常次数；将所述波动异常次数和所述误差异常次数相加，得到所述监测数据的准确性异常次数。
[0012]可选地，所述方法还包括：在接收到针对目标评价对象对应的监测数据的质量评价请求的情况下，确定所述目标评价对象对应的每种类型的传感器的数目，并确定各个传感器采集的监测数据的综合质量评分；
根据每种类型的传感器的数目，以及每种类型下各个传感器采集的监测数据的综合质量评分，计算每种类型的传感器对应的质量评分；根据每种类型的传感器的预设权重，对各个类型的传感器对应的质量评分进行加权求和，得到所述目标评价对象对应监测数据的综合质量评分。
[0013]第二方面，本专利技术实施例公开了一种面向地质灾害监测的数据质量评价系统，所述系统包括：数据获取模块，用于获取传感器采集的监测数据和所述传感器的数据处理参数，所述数据处理参数用于反映所述传感器的数据处理规则；异常判断模块，用于基于所述数据处理参数判断所述监测数据是否存在异常；第一计算模块，用于若确定所述监测数据存在异常，则根据所述数据处理参数计算所述监测数据在各个评价维度上的评分；第二计算模块，用于根据各个评价维度的预设权重对所述监测数据在各个评价维度上的评分进行加权求和，得到所述传感器采集的监测数据的综合质量评分。
[0014]第三方面，本专利技术实施例公开了一种电子设备，所述电子设备包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述的面向地质灾害监测的数据质量评价方法。
[0015]第四方面，本专利技术实施例公开了一种机器可读介质，其上存储有指令，当所述指令由装置的一个或多个处理器执行时，使得装置执行如前述的面向地质灾害监测的数据质量评价方法。
[0016]本专利技术实施例包括以下优点：本专利技术实施例提供的面向地质灾害监测的数据质量评价方法，能够基于传感器的数据处理参数对传感器采集的监测数据进行异常判断，并在监测数据存在异常的情况下，根据数据处理参数计算传感器采集的监测数据在各个评价维度上的评分，并根据各个评价维度的预设权重确定监测数据的综合质量评分，从而实现对地质灾害监测数据的多维度评估，有利于从不同角度为监测人员提供更好的数据决策支持，提高地质灾害监测工作的日常管理效率。
附图说明
[0017]为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0018]图1是本专利技术的一种面向地质灾害监测的数据质量评价方法实施例的步骤流程图；图2是本专利技术的一种数据质量评价系统的系统架构图；图3是本专利技术的一种监本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向地质灾害监测的数据质量评价方法，其特征在于，所述方法包括：获取传感器采集的监测数据和所述传感器的数据处理参数，所述数据处理参数用于反映所述传感器的数据处理规则；基于所述数据处理参数判断所述监测数据是否存在异常；若确定所述监测数据存在异常，则根据所述数据处理参数计算所述监测数据在各个评价维度上的评分；根据各个评价维度的预设权重对所述监测数据在各个评价维度上的评分进行加权求和，得到所述传感器采集的监测数据的综合质量评分。2.根据权利要求1所述的方法，其特征在于，所述根据所述数据处理参数计算所述监测数据在各个评价维度上的评分，包括：根据所述数据处理参数和各个评价维度对应的评价指标，确定所述监测数据在各个评价维度对应的异常次数；针对每一个评价维度，根据所述评价维度对应的异常次数和预设的异常阈值，计算所述评价维度的初始评分；若所述初始评分大于0，则确定所述监测数据在所述评价维度上的评分等于所述初始评分；若所述初始评分小于或等于0，则确定所述监测数据在所述评价维度上的评分等于0。3.根据权利要求2所述的方法，其特征在于，所述数据处理参数包括传输字段、固有采集频率和监测量程；所述评价维度包括完整性、可靠性和准确性；所述根据所述数据处理参数和各个评价维度对应的评价指标，确定所述监测数据在各个评价维度对应的异常次数，包括：按照字段缺失指标和数据中断指标，利用所述传输字段、所述固有采集频率确定所述监测数据的完整性异常次数；按照超出量程指标和极端变化指标，利用所述监测量程确定所述监测数据的可靠性异常次数；根据波动异常指标和误差异常指标，确定所述监测数据的准确性异常次数。4.根据权利要求3所述的方法，其特征在于，所述按照字段缺失指标和数据中断指标，利用所述传输字段、所述固有采集频率确定所述监测数据的完整性异常次数，包括：根据所述传输字段判断所述监测数据中每个监测时刻的监测值是否存在字段缺失；若任一监测时刻的监测值存在字段缺失，则对所述监测数据的字段异常次数加1；获取所述监测数据对应的数据采集间隔；根据所述数据采集间隔和所述固有采集频率计算所述监测数据的中断次数；将所述监测数据的字段异常次数与所述中断次数相加，得到所述监测数据的完整性异常次数。5.根据权利要求3所述的方法，其特征在于，所述按照超出量程指标和极端变化指标，利用所述监测量程确定所述监测数据的可靠性异常次数，包括：判断所述监...

【专利技术属性】
技术研发人员：韩冰，张鸣之，黄喆，李俊峰，刘昕曜，唐瑶，汤亚强，叶思卿，
申请(专利权)人：中国地质环境监测院自然资源部地质灾害技术指导中心，
类型：发明
国别省市：