本发明专利技术公开了排水监测异常数据的识别方法，包括如下步骤：1、对原始检测数据做检测数据分类分析；2、对原始检测数据中的流量数据与液位数据的零值与空值进行评估；3、对流量数据与液位数据进行数据恒定评估；4、对流量数据与液位数据进行极值评估；5、对流量数据与液位数据进行基于历史数据的阈值评估；6、对流量数据与液位数据进行格拉布斯测试评估；7、结合液位数据与流量数据进行方法组合评估，具体为通过水动力模型评估液位数据与流量数据的相关性；8、将原始检测数据中未被表示为异常数据的内容存入清洗后检测数据库，供下一步应用。本发明专利技术既可以提高排水监测数据审核的效率，又可以提高监测数据审核的标准化。提高监测数据审核的标准化。提高监测数据审核的标准化。
【技术实现步骤摘要】
排水监测异常数据的识别方法
[0001]本专利技术涉及计算机自动监测
，特别涉及排水监测异常数据的识别方法。
技术介绍
[0002]在全面推进数字化转型的大背景下，伴随着排水管网总量的增大和排水系统功能需求的增加，原有依靠人工经验进行管理调度的难度越来越大，迫切需要通过智慧赋能，对排水系统进行系统性、综合性治理。
[0003]监测数据作为排水行业最重要的感知数据，对于数字水务涉及的模型率定、决策支持以及现状分析起到了至关重要的作用。由于排水监测仪器所处的监测环境较为恶劣，其传感器容易被杂质/油污等干扰导致监测数据存在异常。如果监测数据存在某些异常，基于此类异常数据进行的分析得到的结果也变得不可信。因此，需要针对排水监测数据中存在的异常数据进行识别。
[0004]而目前对于异常排水监测数据识别的方法，多采用人工通过经验分析来进行异常数据的逐一判别，但是这种方法存在以下缺陷：
[0005]1、由于排水监测数据数量极大，单个监测点一年数据就超过10万条(以5分钟一个数据计)。导致每次工程师都要花费大量的时间与精力来进行异常数据的识别剔除工作，极大的影响了排水模型的建模效率。
[0006]2、由于没有确定的统一的监测异常数据识别方法，不同工程师在人工核查时的最终结果不一致。
[0007]3、有工程师尝试采用极值进行监测数据的异常识别，但是由于排水监测数据在不同工况(例如旱季/雨季)差距特别大，单纯采用极值进行判断存在大量的错判与漏判。
[0008]因此，如何对排水监测异常数据进行高效准确的批量识别成为本领域技术人员亟需解决的技术问题。
技术实现思路
[0009]有鉴于现有技术的上述缺陷，本专利技术提供排水监测异常数据的识别方法，实现的目的是既可以提高排水监测数据审核的效率，又可以提高监测数据审核的标准化，从而最终提高最终获取的排水监测数据的质量，为排水行业的数字化转型提供高质量的感知数据。
[0010]为实现上述目的，本专利技术公开了排水监测异常数据的识别方法，包括如下步骤：
[0011]步骤1、对原始检测数据做检测数据分类分析；
[0012]步骤2、对所述原始检测数据中的流量数据与液位数据的零值与空值进行评估，评估监测的所述流量数据与所述液位数据是否为0或者为空值，即数据掉线；若监测的所述流量数据或者所述液位数据为0或为空值，则将相应的所述流量数据或者相应的所述液位数据均标识为异常数据；
[0013]步骤3、对所述流量数据与所述液位数据进行数据恒定评估；
[0014]步骤4、对所述流量数据与所述液位数据进行极值评估；
[0015]步骤5、对所述流量数据与所述液位数据进行基于历史数据的阈值评估；
[0016]步骤6、对所述流量数据与所述液位数据进行格拉布斯测试评估；
[0017]步骤7、结合所述液位数据与所述流量数据进行方法组合评估，具体为通过水动力模型评估所述液位数据与所述流量数据的相关性；
[0018]步骤8、将所述原始检测数据中未被表示为所述异常数据的内容存入清洗后检测数据库，供下一步应用。
[0019]优选的，步骤1包括如下步骤：
[0020]步骤1.1、将所述对原始检测数据中每一天的数据均分成四个时段，具体为：每一天6:40
‑
8:10的所述数据均分至早高峰时段；每一天8:15
‑
19:00的所述数据均分至白天时段；每一天19:05
‑
24:00的所述数据均分至晚高峰时段；每一天00:05
‑
6:35的所述数据均分至夜间时段；
[0021]步骤1.2、判断所述对原始检测数据中每一天的所述数据中降雨总毫米数是是否超过5mm；若超过则后一天为雨天，若未超过则后一天为旱天；
[0022]步骤1.3、将所述对原始检测数据分成第一类至第八类分别为：
[0023]第一类：旱天早高峰时段；
[0024]第二类：旱天白天时段；
[0025]第三类：旱天晚高峰时段；
[0026]第四类：旱天夜间时段；
[0027]第五类：雨天早高峰时段；
[0028]第六类：雨天白天时段；
[0029]第七类：雨天晚高峰时段；
[0030]第八类：雨天夜间时段。
[0031]优选的，步骤3中所述数据恒定评估具体为：若监测的所述流量数据或者所述液位数据保持恒定数值超过30分钟，则将相应的所述流量数据或者相应的所述液位数据均标识为所述异常数据。
[0032]优选的，步骤4中所述极值评估具体如下：
[0033]对于所述流量数据，流量极小值为0，流量极大值为相应段管道理论通过流量的1.5倍，因此理论满管流量的计算公式为：
[0034][0035]其中，Q为流量，单位为m3/s；D为管道直径；n为曼宁系数；i为管道坡度；
[0036]当所述原始检测数据中所述流量数据超过所述流量极小值至所述流量极大值的范围时，相应的所述流量数据为异常数据；
[0037]对于所述液位数据，液位极小值为0，液位极大值为相应段管道的直径，当所述原始检测数据中的所述液位数据超过所述液位极小值至所述液位极大值范围的数据标识为所述异常数据。
[0038]更优选的，步骤5中所述基于历史数据的阈值评估具体如下：
[0039]步骤5.1、将过去一年经过人工审核的处于正常状态的检测数据对应所述第一类
至所述第八类分别提取获得8个历史数据；
[0040]步骤5.2、依次将每一个所述历史数据中与所述流量数据和所述液位数据对应的最大历史流量值、最大历史液位值、最小历史流量值和最小历史液位值提取出来；
[0041]步骤5.3、将原始检测数据中对应所述第一类至所述第八类的每一所述数据均分别与相应的所述最大历史流量值和所述最小历史流量值，或者相应的所述最大历史液位值和最小历史液位值进行比较；超出范围的任一所述数据均标识为所述异常数据。
[0042]优选的，步骤6中所述格拉布斯测试评估具体如下：
[0043]步骤6.1、建立所述格拉布斯测试评估的统计公式，具体如下：
[0044][0045]其中，Y为监测的对象数据；为整体监测数据的平均值；σ为数据的标准差；G为格拉布斯系数；
[0046]步骤6.2、判断每一个所述原始检测数据中的所述流量数据与所述液位数据是否为异常数据的指标为：计算出来的G值是否超过阈值，所述阈值的计算公式如下：
[0047][0048]其中：N为监测数据的个数；本例中为95％的置信区间；
[0049]当任一所述流量数据或者所述液位数据计算出来的G超过阈值，即将相应的所述流量数据或者相应的所述液位数据标识为所述异常数据。
[0050]优选的，步骤7中通过所述水动力模型评估所述液位数据与所述流量数据的相关性的过程具体如下：
[0051]步骤7.1、建立与需要评估的范围相对应的管道水动本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.排水监测异常数据的识别方法；其特征在于，包括如下步骤：步骤1、对原始检测数据做检测数据分类分析；步骤2、对所述原始检测数据中的流量数据与液位数据的零值与空值进行评估，评估监测的所述流量数据与所述液位数据是否为0或者为空值，即数据掉线；若监测的所述流量数据或者所述液位数据为0或为空值，则将相应的所述流量数据或者相应的所述液位数据均标识为异常数据；步骤3、对所述流量数据与所述液位数据进行数据恒定评估；步骤4、对所述流量数据与所述液位数据进行极值评估；步骤5、对所述流量数据与所述液位数据进行基于历史数据的阈值评估；步骤6、对所述流量数据与所述液位数据进行格拉布斯测试评估；步骤7、结合所述液位数据与所述流量数据进行方法组合评估，具体为通过水动力模型评估所述液位数据与所述流量数据的相关性；步骤8、将所述原始检测数据中未被表示为所述异常数据的内容存入清洗后检测数据库，供下一步应用。2.根据权利要求1所述的排水监测异常数据的识别方法，其特征在于，步骤1包括如下步骤：步骤1.1、将所述对原始检测数据中每一天的数据均分成四个时段，具体为：每一天6:40
‑
8:10的所述数据均分至早高峰时段；每一天8:15
‑
19:00的所述数据均分至白天时段；每一天19:05
‑
24:00的所述数据均分至晚高峰时段；每一天00:05
‑
6:35的所述数据均分至夜间时段；步骤1.2、判断所述对原始检测数据中每一天的所述数据中降雨总毫米数是是否超过5mm；若超过则后一天为雨天，若未超过则后一天为旱天；步骤1.3、将所述对原始检测数据分成第一类至第八类分别为：第一类：旱天早高峰时段；第二类：旱天白天时段；第三类：旱天晚高峰时段；第四类：旱天夜间时段；第五类：雨天早高峰时段；第六类：雨天白天时段；第七类：雨天晚高峰时段；第八类：雨天夜间时段。3.根据权利要求1所述的排水监测异常数据的识别方法，其特征在于，步骤3中所述数据恒定评估具体为：若监测的所述流量数据或者所述液位数据保持恒定数值超过30分钟，则将相应的所述流量数据或者相应的所述液位数据均标识为所述异常数据。4.根据权利要求1所述的排水监测异常数据的识别方法，其特征在于，步骤4中所述极值评估具体如下：对于所述流量数据，流量极小值为0，流量极大值为相应段管道理论通过流量的1.5倍，因此理论满管流量的计算公式为：
其中，Q为流量，单位为m3/s；D为管道直径；n为曼宁系数；i为管道坡度；当所述原始检测数据中所述流量数据超过所述流量极小值至所述流量极大值的范围时，相应的所述流量数据为异常数据；对于所述液位数据，液位极小值为0，液位极大值为相应...
【专利技术属性】
技术研发人员：陈泽伟，纪莎莎，何黎，宋晨曦，
申请(专利权)人：上海市城市建设设计研究总院集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。