本发明专利技术涉及配电网数据管理技术领域，公开了一种配电网多源异构数据融合方法、装置及存储介质。本发明专利技术将采集的配电网多源异构数据依据数据类型存储到对应临时表中；根据临时表中数据的数据类型建立对应数据预处理线程，使数据预处理线程对相应数据执行预设数据预处理操作，其中数据类型为结构化数据时该操作包括对数据进行异常分析，对异常数据进行纠偏以及对纠偏得到的数据进行去噪；将得到的所有预处理后数据组成目标数据集合，通过时间配准和该集合中的非结构化数据对该集合中的时序数据进行数据填充；计算该集合中数据间的关联度，将大于预设关联度阈值的关联度对应的数据进行融合。本发明专利技术能提高对配电网多源异构数据进行融合的效率和质量。行融合的效率和质量。行融合的效率和质量。
【技术实现步骤摘要】
一种配电网多源异构数据融合方法、装置及存储介质
[0001]本专利技术涉及配电网数据管理
，尤其涉及一种配电网多源异构数据融合方法、装置及存储介质。
技术介绍
[0002]随着配电网系统自动化、信息化趋势愈专利技术显，配电网在运行过程中会产生不同来源的海量数据，对配电网数据的不当处理会影响电力系统数据信息的真实性和完整性。
[0003]对配电网数据的处理需要将不同来源的海量数据进行融合，并将融合后的数据进行存储以便于后续使用。然而，这些数据来源于不同的系统，各系统遵循的建模标准不统一，而且数据量极大，致使配电网多源异构数据融合效果差，不利于电力系统的整体运行效率和效果，对电力系统稳定运行带来挑战与危机。
[0004]配电网中各条线路会安装多种电力信息测量设备，通过这些测量设备能够获取不同种类的电力测量数据，如同步相量单元数据、气象数据及设备数据等。众多种类的电力数据中会产生更多样的噪声数据，增加了数据融合的难度。
[0005]目前针对配电网多源异构数据的数据融合技术在融合数据集较小时效果较好，随着数据集规模增大后，融合效率和质量降低，不能满足配电网数据融合需求。
技术实现思路
[0006]本专利技术提供了一种配电网多源异构数据融合方法、装置及存储介质，解决了如何提高对配电网多源异构数据进行融合的效率和质量的技术问题。
[0007]本专利技术第一方面提供一种配电网多源异构数据融合方法，包括：
[0008]采集配电网多源异构数据；
[0009]依据数据类型将所述配电网多源异构数据存储到对应的临时表中；
[0010]根据临时表中数据的数据类型建立对应的数据预处理线程，使所述数据预处理线程对对应临时表中的数据执行预设数据预处理操作，得到预处理后数据；所述数据类型为结构化数据时所述预设数据处理操作包括：对数据进行异常分析，对分析得到的异常数据进行纠偏以及对纠偏得到的数据进行去噪；
[0011]将所有预处理后数据组成目标数据集合，通过时间配准和所述目标数据集合中的非结构化数据对所述目标数据集合中的时序数据进行数据填充；
[0012]计算所述目标数据集合中数据间的关联度；
[0013]将大于预设关联度阈值的关联度对应的数据进行融合。
[0014]根据本专利技术第一方面的一种能够实现的方式，所述对数据进行异常分析，包括：
[0015]采用预置的神经网络模型对数据进行异常分析；所述神经网络模型基于粒子群算法进行训练的得到。
[0016]根据本专利技术第一方面的一种能够实现的方式，所述对纠偏得到的数据进行去噪，包括：
[0017]采用交叉小波变换算法对纠偏得到的数据进行处理，得到相应的小波相干谱图；
[0018]利用孤立森林将纠偏得到的数据通过选择特征的最大值和最小值之间的分割来随机进行分区，直至数据点均被隔离，得到相应的路径长度分布数据图；
[0019]将所述小波相干谱图与所述路径长度分布数据图进行比较，以识别出噪声分量；
[0020]对识别出的噪声分量进行剔除。
[0021]根据本专利技术第一方面的一种能够实现的方式，所述通过时间配准和所述目标数据集合中的非结构化数据对所述目标数据集合中的时序数据进行数据填充，包括：
[0022]对所述目标数据集合中的时序数据进行时间配准，得到配准后数据；
[0023]基于所述目标数据集合中的非结构化数据进行配电网拓扑结构分析，得到配电网拓扑结构分析结果；
[0024]基于所述配电网拓扑结构分析结果，采用预置插值算法对所述配准后数据进行数据填充。
[0025]根据本专利技术第一方面的一种能够实现的方式，所述对所述目标数据集合中的时序数据进行时间配准，包括：
[0026]基于卡尔曼滤波器对所述时序数据进行滤波处理和数据预测；
[0027]根据得到的滤波数据和预测数据将所述时序数据配准到一个基准时间上。
[0028]根据本专利技术第一方面的一种能够实现的方式，所述基于所述目标数据集合中的非结构化数据进行配电网拓扑结构分析，包括：
[0029]基于所述目标数据集合中的非结构化数据，采用树搜索算法进行配电网拓扑结构分析。
[0030]根据本专利技术第一方面的一种能够实现的方式，所述计算所述目标数据集合中数据间的关联度，包括：
[0031]采用主成分分析法对所述目标数据集合中的数据进行处理，以确定两两不相关的综合数据；
[0032]计算所述目标数据集合中除所述综合数据外的数据间的关联度。
[0033]本专利技术第二方面提供一种配电网多源异构数据融合装置，包括：
[0034]采集模块，用于采集配电网多源异构数据；
[0035]存储模块，用于依据数据类型将所述配电网多源异构数据存储到对应的临时表中；
[0036]预处理模块，用于根据临时表中数据的数据类型建立对应的数据预处理线程，使所述数据预处理线程对对应临时表中的数据执行预设数据预处理操作，得到预处理后数据；所述数据类型为结构化数据时所述预设数据处理操作包括：对数据进行异常分析，对分析得到的异常数据进行纠偏以及对纠偏得到的数据进行去噪；
[0037]填充模块，用于将所有预处理后数据组成目标数据集合，通过时间配准和所述目标数据集合中的非结构化数据对所述目标数据集合中的时序数据进行数据填充；
[0038]计算模块，用于计算所述目标数据集合中数据间的关联度；
[0039]融合模块，用于将大于预设关联度阈值的关联度对应的数据进行融合。
[0040]根据本专利技术第二方面的一种能够实现的方式，所述预处理模块对数据进行异常分析时，具体用于：
[0041]采用预置的神经网络模型对数据进行异常分析；所述神经网络模型基于粒子群算法进行训练的得到。
[0042]根据本专利技术第二方面的一种能够实现的方式，所述预处理模块对纠偏得到的数据进行去噪时，具体用于：
[0043]采用交叉小波变换算法对纠偏得到的数据进行处理，得到相应的小波相干谱图；
[0044]利用孤立森林将纠偏得到的数据通过选择特征的最大值和最小值之间的分割来随机进行分区，直至数据点均被隔离，得到相应的路径长度分布数据图；
[0045]将所述小波相干谱图与所述路径长度分布数据图进行比较，以识别出噪声分量；
[0046]对识别出的噪声分量进行剔除。
[0047]根据本专利技术第二方面的一种能够实现的方式，所述填充模块包括：
[0048]时间配准单元，用于对所述目标数据集合中的时序数据进行时间配准，得到配准后数据；
[0049]拓扑分析单元，用于基于所述目标数据集合中的非结构化数据进行配电网拓扑结构分析，得到配电网拓扑结构分析结果；
[0050]插值填充单元，用于基于所述配电网拓扑结构分析结果，采用预置插值算法对所述配准后数据进行数据填充。
[0051]根据本专利技术第二方面的一种能够实现的方式，所述时间配准单元具体用本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种配电网多源异构数据融合方法，其特征在于，包括：采集配电网多源异构数据；依据数据类型将所述配电网多源异构数据存储到对应的临时表中；根据临时表中数据的数据类型建立对应的数据预处理线程，使所述数据预处理线程对对应临时表中的数据执行预设数据预处理操作，得到预处理后数据；所述数据类型为结构化数据时所述预设数据处理操作包括：对数据进行异常分析，对分析得到的异常数据进行纠偏以及对纠偏得到的数据进行去噪；将所有预处理后数据组成目标数据集合，通过时间配准和所述目标数据集合中的非结构化数据对所述目标数据集合中的时序数据进行数据填充；计算所述目标数据集合中数据间的关联度；将大于预设关联度阈值的关联度对应的数据进行融合。2.根据权利要求1所述的配电网多源异构数据融合方法，其特征在于，所述对数据进行异常分析，包括：采用预置的神经网络模型对数据进行异常分析；所述神经网络模型基于粒子群算法进行训练的得到。3.根据权利要求1所述的配电网多源异构数据融合方法，其特征在于，所述对纠偏得到的数据进行去噪，包括：采用交叉小波变换算法对纠偏得到的数据进行处理，得到相应的小波相干谱图；利用孤立森林将纠偏得到的数据通过选择特征的最大值和最小值之间的分割来随机进行分区，直至数据点均被隔离，得到相应的路径长度分布数据图；将所述小波相干谱图与所述路径长度分布数据图进行比较，以识别出噪声分量；对识别出的噪声分量进行剔除。4.根据权利要求1所述的配电网多源异构数据融合方法，其特征在于，所述通过时间配准和所述目标数据集合中的非结构化数据对所述目标数据集合中的时序数据进行数据填充，包括：对所述目标数据集合中的时序数据进行时间配准，得到配准后数据；基于所述目标数据集合中的非结构化数据进行配电网拓扑结构分析，得到配电网拓扑结构分析结果；基于所述配电网拓扑结构分析结果，采用预置插值算法对所述配准后数据进行数据填充。5.根据权利要求4所述的配电网多源异构数据融合方法，其特征在于，所述对所述目标数据集合中的时序数据进行时间配准，包括：基于卡尔曼...
【专利技术属性】
技术研发人员：郑剑锋，周龙舟，梁明铸，周磊，万敏，陈培培，刘若愚，肖卓典，李达凯，何其淼，刘志陆，何然，刘聪，白雪，姚远，詹睿，霍兆杰，奚泽立，祝钧，陈艺丹，
申请(专利权)人：广东电网有限责任公司佛山供电局，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。