一种带去重功能的边缘数据管控方法及装置制造方法及图纸

本发明专利技术公开了一种带去重功能的边缘数据管控方法及装置，该方法包括：当确定出存储服务端处于存储运行状态时，将备份客户端切换至备份运行状态并生成存储服务端与备份客户端之间的数据交互链路；检测第一时序数据库的数据传输状态；当确定出数据传输状态为存在数据交互的第一状态时，控制备份客户端基于数据交互链路获取第一时序数据库在预设检测周期内的目标交互数据；根据确定出的去重处理算法控制备份客户端对目标交互数据执行去重处理操作，得到去重处理结果；将去重处理结果发送至存储服务端，以将去重处理结果写入到存储服务端对应的第二时序数据库。可见，实施本发明专利技术能够提高边缘云端数据的容灾处理能力，减少数据丢失的情况发生。丢失的情况发生。丢失的情况发生。

【技术实现步骤摘要】
一种带去重功能的边缘数据管控方法及装置


[0001]本专利技术涉及边缘数据处理
，尤其涉及一种带去重功能的边缘数据管控方法及装置。

技术介绍

[0002]在工业互联网领域，位于边缘云的物联网网关会采集大量的数据，包括有视频流、设备指标、车牌信息等数据。且随着时代科技的发展，企业用户数量的增加，边缘云所要处理的数据量呈现指数级增长的趋势。
[0003]然而，与激增的数据量相比，边缘云对应的容灾处理一直是较为薄弱的，也即边缘云通常都会存在容灾能力缺失的问题，此时，一旦边缘云对应的物联网网关发生故障，将出现大量数据丢失的问题。可见，如何提高边缘云端数据的容灾处理能力，减少数据丢失的情况发生显得尤为重要。

技术实现思路

[0004]本专利技术所要解决的技术问题在于，提供一种带去重功能的边缘数据管控方法及装置，能够提高边缘云端数据的容灾处理能力，减少数据丢失的情况发生。
[0005]为了解决上述技术问题，本专利技术第一方面公开了一种带去重功能的边缘数据管控方法，所述方法包括：
[0006]当确定出存储服务端处于存储运行状态时，将备份客户端切换至备份运行状态并生成所述存储服务端与所述备份客户端之间的数据交互链路；
[0007]检测第一时序数据库的数据传输状态，所述数据传输状态包括存在数据交互的第一状态或不存在数据交互的第二状态；
[0008]当确定出所述数据传输状态为所述第一状态时，控制所述备份客户端基于所述数据交互链路获取所述第一时序数据库在预设检测周期内的目标交互数据；
[0009]根据确定出的去重处理算法控制所述备份客户端对所述目标交互数据执行去重处理操作，得到所述目标交互数据对应的去重处理结果；
[0010]将所述去重处理结果发送至所述存储服务端，并控制所述存储服务端将所述去重处理结果写入到所述存储服务端对应的第二时序数据库。
[0011]作为一种可选的实施方式，在本专利技术第一方面中，所述根据确定出的去重处理算法控制所述备份客户端对所述目标交互数据执行去重处理操作，得到所述目标交互数据对应的去重处理结果，包括：
[0012]根据确定出的去重处理算法，控制所述备份客户端对所述目标交互数据按照该目标交互数据的数据类型进行数据划分，得到所述目标交互数据对应的数据划分结果，所述数据划分结果包括至少一份第一数据类型的第一数据块、至少一份第二数据类型的第二数据块；
[0013]由所述备份客户端根据所述去重处理算法，确定所有所述第二数据块中执行去重
处理操作的一级数据块以及不执行所述去重处理操作的二级数据块；
[0014]由所述备份客户端根据所述去重处理算法，对所有所述第一数据块以及所述一级数据块执行所述去重处理操作，得到所有所述第一数据块以及所述一级数据块对应的去重结果；
[0015]将所述去重结果、所述二级数据块确定为所述目标交互数据对应的去重处理结果。
[0016]作为一种可选的实施方式，在本专利技术第一方面中，所述由所述备份客户端根据所述去重处理算法，对所有所述第一数据块以及所述一级数据块执行所述去重处理操作，得到所有所述第一数据块以及所述一级数据块对应的去重结果，包括：
[0017]将所有所述第一数据块以及所述一级数据块确定为目标去重数据块；
[0018]由所述备份客户端根据所述去重处理算法，确定所述目标去重数据块对应的数据属性；
[0019]由所述备份客户端根据所述目标去重数据块对应的数据属性对所述目标去重数据块执行数据压缩操作，得到所述目标去重数据块对应的数据压缩结果，作为所有所述第一数据块以及所述一级数据块对应的去重结果；
[0020]其中，所述目标去重数据块对应的数据压缩结果包括每一所述第一数据块对应的数据压缩结果以及所述一级数据块对应的数据压缩结果。
[0021]作为一种可选的实施方式，在本专利技术第一方面中，所述第一数据类型的第一数据块具体为连续的数据块中存在重复数据的数据块；所述第二数据类型的第二数据块具体为连续的数据块中不存在重复数据的数据块。
[0022]作为一种可选的实施方式，在本专利技术第一方面中，所述将所述去重处理结果发送至所述存储服务端之前，所述方法还包括：
[0023]分析所述去重处理结果，得到所述目标交互数据对应的去重校验数值，所述去重校验数值用于确定针对所述目标交互数据的去重情况；
[0024]根据预先确定出的模拟去重数值对比所述去重校验数值，得到所述去重校验数值与所述模拟去重数值之间的数据差值，所述模拟去重数值为预估针对所述模拟交互数据执行所述去重处理操作后得到去重数值；
[0025]当所述数据差值表示在预设的标准差值区间内时，确定所述目标交互数据为满足去重处理要求的数据并触发执行所述的将所述去重处理结果发送至所述存储服务端对应的操作。
[0026]作为一种可选的实施方式，在本专利技术第一方面中，当所述数据差值表示在预设的标准差值区间之外时，所述方法还包括：
[0027]根据所述数据差值以及所述去重处理算法，控制所述备份客户端对所述目标交互数据执行二次去重处理操作，直至确定出所述目标交互数据对应的所述去重校验数据与所述模拟去重数值之间的数值差在所述标准差值区间内时，确定所述目标交互数据为满足去重处理要求的数据并触发执行所述的将所述去重处理结果发送至所述存储服务端对应的操作。
[0028]作为一种可选的实施方式，在本专利技术第一方面中，在所述根据所述数据差值以及所述去重处理算法，控制所述备份客户端对所述目标交互数据执行二次去重处理操作的过
程中，所述方法还包括：
[0029]每针对所述目标交互数据执行一次所述二次去重处理操作，对应更新所述目标交互数据执行所述二次去重处理操作的操作次数；
[0030]当所述操作次数表示大于预设操作次数时，且所述目标交互数据对应的所述去重校验数据与所述模拟去重数值之间的数值差在所述所述标准差值区间之外，根据所述操作次数生成针对所述目标交互数据的去重信息，所述去重信息用于中止针对所述目标交互数据执行所述二次去重处理操作以及用于反馈给处理所述目标交互数据的处理人员，以触发所述处理人员根据所述去重信息对所述目标交互数据执行数据分析处理操作。
[0031]本专利技术第二方面公开了一种带去重功能的边缘数据管控装置，所述装置包括：
[0032]切换交互模块，用于当确定出存储服务端处于存储运行状态时，将备份客户端切换至备份运行状态并生成所述存储服务端与所述备份客户端之间的数据交互链路；
[0033]检测模块，用于检测第一时序数据库的数据传输状态，所述数据传输状态包括存在数据交互的第一状态或不存在数据交互的第二状态；
[0034]控制模块，用于当确定出所述数据传输状态为所述第一状态时，控制所述备份客户端基于所述数据交互链路获取所述第一时序数据库在预设检测周期内的目标交互数据；
[0035]去重处理模块，用于根据确定出的去重处理算法控制所述备份客户端对所述目标交本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种带去重功能的边缘数据管控方法，其特征在于，所述方法包括：当确定出存储服务端处于存储运行状态时，将备份客户端切换至备份运行状态并生成所述存储服务端与所述备份客户端之间的数据交互链路；检测第一时序数据库的数据传输状态，所述数据传输状态包括存在数据交互的第一状态或不存在数据交互的第二状态；当确定出所述数据传输状态为所述第一状态时，控制所述备份客户端基于所述数据交互链路获取所述第一时序数据库在预设检测周期内的目标交互数据；根据确定出的去重处理算法控制所述备份客户端对所述目标交互数据执行去重处理操作，得到所述目标交互数据对应的去重处理结果；将所述去重处理结果发送至所述存储服务端，并控制所述存储服务端将所述去重处理结果写入到所述存储服务端对应的第二时序数据库。2.根据权利要求1所述的一种带去重功能的边缘数据管控方法，其特征在于，所述根据确定出的去重处理算法控制所述备份客户端对所述目标交互数据执行去重处理操作，得到所述目标交互数据对应的去重处理结果，包括：根据确定出的去重处理算法，控制所述备份客户端对所述目标交互数据按照该目标交互数据的数据类型进行数据划分，得到所述目标交互数据对应的数据划分结果，所述数据划分结果包括至少一份第一数据类型的第一数据块、至少一份第二数据类型的第二数据块；由所述备份客户端根据所述去重处理算法，确定所有所述第二数据块中执行去重处理操作的一级数据块以及不执行所述去重处理操作的二级数据块；由所述备份客户端根据所述去重处理算法，对所有所述第一数据块以及所述一级数据块执行所述去重处理操作，得到所有所述第一数据块以及所述一级数据块对应的去重结果；将所述去重结果、所述二级数据块确定为所述目标交互数据对应的去重处理结果。3.根据权利要求2所述的一种带去重功能的边缘数据管控方法，其特征在于，所述由所述备份客户端根据所述去重处理算法，对所有所述第一数据块以及所述一级数据块执行所述去重处理操作，得到所有所述第一数据块以及所述一级数据块对应的去重结果，包括：将所有所述第一数据块以及所述一级数据块确定为目标去重数据块；由所述备份客户端根据所述去重处理算法，确定所述目标去重数据块对应的数据属性；由所述备份客户端根据所述目标去重数据块对应的数据属性对所述目标去重数据块执行数据压缩操作，得到所述目标去重数据块对应的数据压缩结果，作为所有所述第一数据块以及所述一级数据块对应的去重结果；其中，所述目标去重数据块对应的数据压缩结果包括每一所述第一数据块对应的数据压缩结果以及所述一级数据块对应的数据压缩结果。4.根据权利要求2或3所述的一种带去重功能的边缘数据管控方法，其特征在于，所述第一数据类型的第一数据块具体为连续的数据块中存在重复数据的数据块；所述第二数据类型的第二数据块具体为连续的数据块中不存在重复数据的数据块。5.根据权利要求1
‑
4任一项所述的一种带去重功能的边缘数据管控方法，其特征在于，
所述将所述去重处理结果发送至所述存储服务端之前，所述方法还包括：分析所述去重处理结果，得到所述目标交互数据对应的去重校验数值，所述去重校验数值用于确定针对所述目标交互数据的去重情况；根据预先确定出的模拟去重...

【专利技术属性】
技术研发人员：张志远，林圳杰，王李明，许佳佳，纪伟，孙凯，张朋，段祥，
申请(专利权)人：南方电网数字平台科技广东有限公司，
类型：发明
国别省市：