一种数据处理方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了一种数据处理方法、装置、电子设备及存储介质。其中，该方法包括：获取当前时间对应的消峰部署信息，所述消峰部署信息包括至少一个网络节点，以及所述网络节点对应的消峰时间；确定所述网络节点当前时间的实时带宽值；对所述实时带宽值进行分析，确定未来时间段内的预期带宽值；根据所述预期带宽值及所述消峰时间调整所述消峰部署信息。本申请提供的技术方案通过实时获取的带宽值进行分析得到在未来时间段内的预期带宽值，以此不断更新优化消峰时间节点，克服了现有技术中手工调度调整消峰时间节点造成的人力浪费和局部优化的缺陷，从而提高了消峰的准确性。从而提高了消峰的准确性。从而提高了消峰的准确性。

【技术实现步骤摘要】
一种数据处理方法、装置、电子设备及存储介质


[0001]本申请涉及数据处理领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

技术介绍

[0002]调度系统是指CDN厂家有能力通过各种机制将客户域名的所有现网请求引导到合适的目标机房，从而实现流量控制、质量控制、成本控制以及故障处理。目前CDN节点计费类型主要包括三类：包端口计费，95计费和流量计费。
[0003]消峰是指当实际带宽超过目前节点的规划带宽，此时需要部分95节点开启免费时长，大部分节点实际带宽在规划带宽以下。同时也可以使用流量节点进行调节，流量计费节点是按照日平均带宽进行计费。
[0004]事实上，在确定每个节点的带宽上界(未开启消峰的上界是规划带宽，开启消峰则是上联带宽)，即二次保底值。
[0005]现有技术中，厂家调度带宽分配多以手动调整为主，需要大量调度运维人员结合已有经验，人为进行判断、估算和操作处理。但是现有的人工操作方式，需要较大量的人力成本，且极度依赖运维人员的经验和精力，及时性和准确率难以得到保证。由于每一个调度人员仅考虑自己负责的局部区域，而系统是相对复杂且各个部分相互影响的，人力计算水平可能导致全局的消峰结果并不理想。

技术实现思路

[0006]为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种数据处理方法、装置、电子设备及存储介质。
[0007]根据本申请实施例的一个方面，提供了一种数据处理方法，包括：
[0008]获取当前时间对应的消峰部署信息，所述消峰部署信息包括至少一个网络节点，以及所述网络节点对应的消峰时间；
[0009]确定所述网络节点当前时间的实时带宽值；
[0010]对所述实时带宽值进行分析，确定未来时间段内的预期带宽值；
[0011]根据所述预期带宽值及所述消峰时间调整所述消峰部署信息。
[0012]进一步的，所述获取消峰部署信息，包括：
[0013]获取历史高峰时间段内的历史带宽集合，所述历史高峰时间段包括至少两个带宽取值点，所述历史带宽集合包括每个所述带宽取值点对应的带宽值；
[0014]按照第一预设时间长度对所述历史高峰时间段进行划分得到多个第一子时间段；
[0015]将所述第一子时间段中最大的带宽值作为所述第一子时间段的目标带宽值；
[0016]根据所述目标带宽值确定所述历史高峰时间段内的峰值时刻；
[0017]根据所述峰值时刻确定所述消峰时间。
[0018]进一步的，所述根据所述峰值时刻确定所述消峰时间，包括：
[0019]获取所述历史高峰时间段的起始时间；
[0020]确定从所述起始时间到所述峰值时刻的第一带宽变化率；
[0021]确定所述第一子时间段中的第二带宽变化率；
[0022]将所述第二带宽变化率大于第一变化率的第一子时间段作为所述消峰时间。
[0023]进一步的，在根据所述实时带宽值进行分析，确定未来时间段内的预期带宽值，包括：
[0024]当所述当前时间不属于所述消峰时间时，根据所述实时带宽值确定第一未来时间段内的预期带宽值；
[0025]当所述当前时间属于所述消峰时间时，根据所述实时带宽值确定第二未来时间段内的预期带宽值；
[0026]所述第一未来时间段大于第二未来时间段。
[0027]进一步的，在当前时间不属于所述消峰时间时，所述根据所述实时带宽值确定第二未来时间段内的预期带宽值，包括：
[0028]确定所述第一未来时间段对应的第一历史时间段；
[0029]按照第二预设时间长度对所述第一历史时间段进行划分，得到多个第二子时间段；
[0030]获取所述第二子时间段对应的带宽值；
[0031]将所述第二子时间段对应的带宽值输入分析模型，由所述分析模型根据所述带宽值进行卷积计算得到指定数量的计算结果，所述指定数量根据所述第一未来时间段确定；
[0032]根据所述指定数量的计算结果确定所述预期带宽值。
[0033]进一步的，在当前时间属于所述消峰时间时，所述根据所述实时带宽值确定第二未来时间段内的预期带宽值，包括：
[0034]采用第一预测算法计算得到所述第二未来时间段的最大带宽值，作为第一候选带宽值；
[0035]确定所述第二未来时间段对应的第二历史时间段；
[0036]按照第三预设时间长度对所述第二历史时间段进行划分得到多个第三子时间段；
[0037]从各所述第三子时间段的带宽变化量中确定第一最大带宽变化量；
[0038]确定第三未来时间段，所述第三未来时间段的长度等于所述第二历史时间段；
[0039]按照所述第三预设时间长度对所述第三未来时间段进行划分得到多个第四子时间段；
[0040]采用第二预测算法计算各第四子时间段中的第二最大带宽变化量；
[0041]从所述第一最大带宽变化量和第二最大带宽变化量中选择最大的作为目标带宽变化量；
[0042]根据所述实时带宽值与目标带宽变化量之和作为第二候选带宽值；
[0043]从所述第一候选带宽值和所述第二候选带宽值中选择最大的作为所述预期带宽值。
[0044]进一步的，所述方法还包括：
[0045]获取训练样本，所述训练样本包括第一带宽值样本和第二带宽值样本；
[0046]确定所述训练样本对应的标签信息，所述标签信息用于标识所述第二带宽值样本
为所述第一带宽值样本的输入结果；
[0047]将所述第一带宽值样本和第二带宽值样本输入预设深度卷积神经网络，由所述预设深度卷积神经网络根据所述标签信息学习所述第一带宽值样本与第二带宽值样本的关系，得到所述分析模型。
[0048]进一步的，所述根据所述预期带宽值及所述消峰时间调整所述消峰部署信息，包括：
[0049]根据所述消峰时间及当前时间，确定所有所述网络节点的剩余消峰空间之和，得到总消峰空间；
[0050]当所述预期带宽值大于所述总消峰空间时，从候选网络节点中选择新增网络节点，并根据所述预期带宽值与所述总消峰空间差值确定所述新增网络节点的消峰时间；
[0051]根据所述新增网络节点及所述新增网络节点的消峰时间更新所述消峰部署信息。
[0052]进一步的，所述从候选网络节点中选择新增网络节点，包括：
[0053]获取所述候选网络节点的节点特征；
[0054]当所述节点特征满足预设条件时，将所述候选网络节点作为所述新增网络节点。
[0055]进一步的，从候选网络节点中选择新增网络节点，并根据所述预期带宽值与所述总消峰空间的差值确定所述新增网络节点的消峰时间，包括：
[0056]确定在未来时间开启的网络节点作为候选网络节点，所述未来时间根据所述当前时间和所述未来时间段得到；
[0057]根据所述候选网络节点的消峰时间确定所述候选网络节点的消峰空间；
[0058]当本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取当前时间对应的消峰部署信息，所述消峰部署信息包括至少一个网络节点，以及所述网络节点对应的消峰时间；确定所述网络节点当前时间的实时带宽值；对所述实时带宽值进行分析，确定未来时间段内的预期带宽值；根据所述预期带宽值及所述消峰时间调整所述消峰部署信息。2.根据权利要求1所述的方法，其特征在于，所述获取消峰部署信息，包括：获取历史高峰时间段内的历史带宽集合，所述历史高峰时间段包括至少两个带宽取值点，所述历史带宽集合包括每个所述带宽取值点对应的带宽值；按照第一预设时间长度对所述历史高峰时间段进行划分得到多个第一子时间段；将所述第一子时间段中最大的带宽值作为所述第一子时间段的目标带宽值；根据所述目标带宽值确定所述历史高峰时间段内的峰值时刻；根据所述峰值时刻确定所述消峰时间。3.根据权利要求2所述的方法，其特征在于，所述根据所述峰值时刻确定所述消峰时间，包括：获取所述历史高峰时间段的起始时间；确定从所述起始时间到所述峰值时刻的第一带宽变化率；确定所述第一子时间段中的第二带宽变化率；将所述第二带宽变化率大于第一变化率的第一子时间段作为所述消峰时间。4.根据权利要求1所述的方法，其特征在于，对所述实时带宽值进行分析，确定未来时间段内的预期带宽值，包括：当所述当前时间不属于所述消峰时间时，根据所述实时带宽值确定第一未来时间段内的预期带宽值；当所述当前时间属于所述消峰时间时，根据所述实时带宽值确定第二未来时间段内的预期带宽值；所述第一未来时间段大于第二未来时间段。5.根据权利要求4所述的方法，其特征在于，在当前时间不属于所述消峰时间时，所述根据所述实时带宽值确定第二未来时间段内的预期带宽值，包括：确定所述第一未来时间段对应的第一历史时间段；按照第二预设时间长度对所述第一历史时间段进行划分，得到多个第二子时间段；获取所述第二子时间段对应的带宽值；将所述第二子时间段对应的带宽值输入分析模型，由所述分析模型根据所述第二子时间段对应的带宽值进行卷积计算得到指定数量的计算结果，所述指定数量根据所述第一未来时间段确定；根据所述指定数量的计算结果确定所述预期带宽值。6.根据权利要求4所述的方法，其特征在于，在当前时间属于所述消峰时间时，所述根据所述实时带宽值确定第二未来时间段内的预期带宽值，包括：采用第一预测算法计算得到所述第二未来时间段的最大带宽值，作为第一候选带宽值；
确定所述第二未来时间段对应的第二历史时间段；按照第三预设时间长度对所述第二历史时间段进行划分得到多个第三子时间段；从各所述第三子时间段的带宽变化量中确定第一最大带宽变化量；确定第三未来时间段，所述第三未来时间段的长度等于所述第二历史时间段；按照所述第三预设时间长度对所述第三未来时间段进行划分得到多个第四子时间段；采用第二预测算法计算各第四子时间段中的第二最大带宽变化量；从所述第一最大带宽变化量和第二最大带宽变化量中选择最大的作为目标带宽变化量；根据所述实时带宽值与目标带宽变化量之和作为第二候选带宽值；从所述第一候选带宽值和所述第二候选带宽值中选择最大的作为所述预期带宽值。7.根据权利要求4所述的方法，其特征在于，所述方法还包括：获取训练样本，所述训练样本包括第一带宽值样本和第二带宽值样本；确定所述训练样本对应的标签信息，所述标签信息用于标识所述第二带宽值样本为所述第一带宽值样本的输入结果；将所述第一带宽值样本和第二带宽值样本输入预设深度卷积神经网络，由所述预设深度卷积神经网络根据所述标签信息学习所述第一带宽值样本与第二带宽值样本的关系，得到所述分析模型...

【专利技术属性】
技术研发人员：蔡爽，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：