【技术实现步骤摘要】
本专利技术涉及一种面向大规模电网节点的海量高并发数据接入方法及系统，属于电通信。
技术介绍
1、目前，随着电力系统的数字化转型，来自各种传感器、监控设备、计量设备等的海量高并发数据广泛接入，对于电网运行状态的监测、故障诊断以及预测提出了更高的要求。海量高并发数据接入具有范围广、扩展性强等巨大优势，为电力系统的数字化转型提供了重要支持。然而，由于电力系统终端数据接入量的快速增长，所产生的海量数据运行给电力系统带来了巨大压力，当前的数据接入方法和系统忽略了未来时刻数据接入情况，导致在峰值时刻服务器资源无法得到合理分配，数据积压量大，时延激增，同时，由于样本分布不均，部分区域样本数量较少，即具有样本稀疏性，会导致参数更新学习效率低，严重影响了系统的整体性能，制约了电网的安全稳定运行。因此，迫切需要设计一种面向大规模电网节点的海量高并发数据接入方法及系统，通过考虑历史数据接入潮汐情况构建数据接入潮汐模型，并根据时间窗内数据接入情况以及历史数据对比分析，动态更新资源分配相关参数，实现电力系统海量高并发数据接入，降低电网数据传输与处理压力，提高电力系统的运行效率、稳定性和安全性。但是现有技术：(1)未考虑数据潮汐对计算负载均衡的影响，忽略了未来时刻数据接入情况，导致在峰值时刻服务器资源无法得到合理分配，数据积压量大，时延激增。(2)忽略了样本稀疏性与容器实际性能偏差对数据接入潮汐经验模型与资源分配模型的影响，导致模型精确度较差，资源利用率较低。
2、有鉴于上述的缺陷，本专利技术以期创设一种面向大规模电网节点的海量高并发数据接入方
技术实现思路
1、为解决上述技术问题，本专利技术的目的是提供一种面向大规模电网节点的海量高并发数据接入方法及系统。
2、本专利技术的一种面向大规模电网节点的海量高并发数据接入方法，具体接入步骤为：
3、首先，基于历史数据接入情况，构建数据接入潮汐经验模型；其次，将观察时间窗内数据的接入情况输入到数据接入潮汐经验模型中，判断数据量的潮汐情况，得到数据接入量峰值及峰值到达的时间；最后，基于数据潮汐情况，进行计算资源分配，得到资源分配模型；
4、基于数据接入潮汐经验模型近几个时隙的数据潮汐预测结果构建误差函数，进而更新数据接入潮汐经验模型的权重和偏置参数矩阵；最后，基于服务器当前性能偏差更新计算资源分配方法中的相关参数，实现面向大规模电网节点的海量高并发数据接入。
5、进一步的，所述构建数据接入潮汐经验模型的步骤如下：
6、定义t个时隙，集合为定义m个服务器，集合为其中，gm为第m个服务器；定义观察时间窗长度为l，服务器gm的数据接入潮汐经验模型如下：
7、
8、式中：为一个观察时间窗内实际数据接入量向量，包含时隙t-l到时隙t服务器gm的实际数据接入量，其中，为时隙t服务器gm的实际数据接入量；为预测数据接入量向量，包含时隙t到时隙tpro服务器gm的预测数据接入量，其中，为时隙t+1服务器gm的预测数据接入量；fm()为基于历史潮汐数据训练得到的服务器gm的数据接入潮汐网络，可以通过观察时间窗内l个接入数据量对未来tpro个时隙的接入数据量进行预测。
9、进一步的，所述将观察时间窗内数据的接入情况输入到数据接入潮汐经验模型中，判断数据量的潮汐情况，得到数据接入量峰值及峰值到达的时间的具体步骤为：
10、使用历史数据接入量训练数据接入潮汐网络后，将观察时间窗内的数据接入量输入数据接入潮汐经验模型得到未来tpro个时隙的预测接入数据量；并进一步计算得到未来数据接入量峰值和峰值到达时间tm(t)；
11、
12、进一步的，所述基于数据潮汐情况，进行计算资源分配的具体步骤为：
13、基于服务器当前时隙的接入量、预测接入量峰值及峰值到达时间进行计算资源分配；服务器gm分配得到的计算资源ψm(t)为：
14、
15、式中，ψ(t)为时隙t可分配计算资源的总量，ωm(t)为服务器gm的权重；服务器当前时隙的接入量越大、预测接入量峰值越高、峰值到达时间越近，分配得到的计算资源越多。
16、进一步的，所述基于数据接入潮汐经验模型近几个时隙的数据潮汐预测结果构建误差函数，进而更新数据接入潮汐经验模型的权重和偏置参数矩阵的具体步骤为：
17、基于数据接入潮汐经验模型，定义服务器gm的数据接入潮汐经验模型的权重和偏置参数矩阵分别为wm和bm，对于时隙t的数据接入潮汐网络训练，利用时隙t及之前共l个时隙的数据潮汐预测结果构建误差函数，对数据接入潮汐经验模型的权重和偏置参数矩阵进行更新，时隙t服务器gm的数据接入潮汐经验模型的误差函数为：
18、
19、其中，a0δt-l+1为时隙t-l+1数据潮汐预测的误差权重，a0为单位误差权重，δ＞1为折扣系数，代表越接近时隙t，数据潮汐预测的误差权重越大，为时隙t-l+1服务器gm的预测数据接入量，为时隙t-l+1服务器gm的实际数据接入量；
20、则数据接入潮汐经验模型的权重和偏置参数矩阵的更新如下式所示：
21、
22、其中，μm为服务器gm的数据接入潮汐经验模型的学习率参数，δwm和δbm分别为服务器gm的数据接入潮汐经验模型的权重更新量和偏置参数更新量。
23、进一步的，所述基于服务器当前性能偏差更新计算资源分配方法中的相关参数的具体步骤为：
24、基于资源分配模型，定义时隙t服务器gm的时延为τm(t)，并假设服务器时延最低要求为τ0，若服务器gm的时延满足服务器时延最低要求，即τm(t)≤τ0，则资源分配模型参数无需更新，否则，按下式更新服务器gm的权重ωm：
25、
26、该式意为，对于无法满足时延要求的容器，应通过增大服务的权重来适当增大其计算资源分配比例，提高资源分配模型的有效性与鲁棒性。
27、一种面向大规模电网节点的海量高并发数据接入系统，包括：
28、端侧的采集终端；
29、边缘侧的服务器；
30、云层的电网调控中心；
31、所述端侧的采集终端负责采集电网运行状态监测数据，并传输到边缘侧服务器进行处理；
32、所述电网调控中心负责对各服务器计算资源的分配进行决策，实现负载均衡。
33、进一步的，所述电网调控中心部署软件模块，具体包括数据潮汐模型构建子模块、数据潮汐计算子模块、计算资源分配子模块、潮汐经验模型参数更新子模块、资源分配模型更新子模块以及数据存储子模块；其中：
34、数据存储子模块：用于存储历史数据接入量，用于训练数据接入潮汐网络以及网络参数更新；
35、数据潮汐模型构建子模块：用于基于历史数据接入情况，训练数据接入潮汐网络，构建数据接入潮汐经验模型；
36、数据潮汐计算子模块：用于基于观察时间窗内数据，本文档来自技高网...
【技术保护点】
1.一种面向大规模电网节点的海量高并发数据接入方法，其特征在于具体接入步骤为：
2.根据权利要求1所述的一种面向大规模电网节点的海量高并发数据接入方法，其特征在于：所述构建数据接入潮汐经验模型的步骤如下：
3.根据权利要求1所述的一种面向大规模电网节点的海量高并发数据接入方法，其特征在于：所述将观察时间窗内数据的接入情况输入到数据接入潮汐经验模型中，判断数据量的潮汐情况，得到数据接入量峰值及峰值到达的时间的具体步骤为：
4.根据权利要求1所述的一种面向大规模电网节点的海量高并发数据接入方法，其特征在于：所述基于数据潮汐情况，进行计算资源分配的具体步骤为：
5.根据权利要求1所述的一种面向大规模电网节点的海量高并发数据接入方法，其特征在于：所述基于数据接入潮汐经验模型近几个时隙的数据潮汐预测结果构建误差函数，进而更新数据接入潮汐经验模型的权重和偏置参数矩阵的具体步骤为：
6.根据权利要求1所述的一种面向大规模电网节点的海量高并发数据接入方法，其特征在于：所述基于服务器当前性能偏差更新计算资源分配方法中的相关参数的具体步骤为
7.一种面向大规模电网节点的海量高并发数据接入系统，其特征在于包括：
8.根据权利要求7所述的一种面向大规模电网节点的海量高并发数据接入系统，其特征在于：所述电网调控中心部署软件模块，具体包括数据潮汐模型构建子模块、数据潮汐计算子模块、计算资源分配子模块、潮汐经验模型参数更新子模块、资源分配模型更新子模块以及数据存储子模块；其中：
9.一种面向大规模电网节点的海量高并发数据接入装置，其特征在于包括：
10.根据权利要求9所述的一种面向大规模电网节点的海量高并发数据接入装置，其特征在于：所述建模模块中构建数据接入潮汐经验模型的步骤如下：
11.根据权利要求9所述的一种面向大规模电网节点的海量高并发数据接入装置，其特征在于：所述更新模块中，基于数据接入潮汐经验模型近几个时隙的数据潮汐预测结果构建误差函数，进而更新数据接入潮汐经验模型的权重和偏置参数矩阵的具体步骤为：
...【技术特征摘要】
1.一种面向大规模电网节点的海量高并发数据接入方法，其特征在于具体接入步骤为：
2.根据权利要求1所述的一种面向大规模电网节点的海量高并发数据接入方法，其特征在于：所述构建数据接入潮汐经验模型的步骤如下：
3.根据权利要求1所述的一种面向大规模电网节点的海量高并发数据接入方法，其特征在于：所述将观察时间窗内数据的接入情况输入到数据接入潮汐经验模型中，判断数据量的潮汐情况，得到数据接入量峰值及峰值到达的时间的具体步骤为：
4.根据权利要求1所述的一种面向大规模电网节点的海量高并发数据接入方法，其特征在于：所述基于数据潮汐情况，进行计算资源分配的具体步骤为：
5.根据权利要求1所述的一种面向大规模电网节点的海量高并发数据接入方法，其特征在于：所述基于数据接入潮汐经验模型近几个时隙的数据潮汐预测结果构建误差函数，进而更新数据接入潮汐经验模型的权重和偏置参数矩阵的具体步骤为：
6.根据权利要求1所述的一种面向大规模电网节点的海量高并发数据接入方法，其特...
【专利技术属性】
技术研发人员：张玉琪，李龙潭，周在彦，刘奕敏，任彦超，孙记冉，王文新，阎瑞雪，张政，
申请(专利权)人：国网山东省电力公司德州供电公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。