数据传输优化方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及数据同步技术领域，尤其涉及一种数据传输优化方法、装置、计算机设备和存储介质，包括：获取待传输的初始数据数量，根据所述初始数据数量设定数据传输的初始频率阈值；获取数据传输发起端的实时传输数据数量和数据传输接收方的实时接收数据量，建立动态频率阈值曲线；修正动态频率阈值曲线后，得到数据传输最优频率值；将多个所述数据传输最优频率值作为样本入参到神经网络模型进行训练，将训练好的模型按照对应的数据传输量进行编号后形成数据传输频率阈值模型；根据所述数据传输频率阈值模型的输出结果进行数据传输。本申请达到实时对数据传输的数据量进行调整，以实现充分利用带宽的效果。

Data transmission optimization methods, devices, computer equipment and storage media

【技术实现步骤摘要】
数据传输优化方法、装置、计算机设备和存储介质
本申请涉及数据同步
，尤其涉及一种数据传输优化方法、装置、计算机设备和存储介质。
技术介绍
随着通讯技术的发展，数据传输交换的规模越来越大，数量呈线性增长，如何高效地传输大量的运行状态数据和快速地进行呈现页面的刷新就显得十分重要。业界在数据传输和页面刷新上通常采用的方法是：把查询到的所有状态数据进行全部传输，例如，服务器和客户端同步显示时，服务器检测到用户基于客户端的刷新请求时，服务器将数据进行全部的重新发送。这样的数据传输效率降低，浪费网络资源。在服务器和客户端之间的带宽又非常有限的情况下，大数据量的数据传输和页面刷新会导致服务器和客户端之间的数据传输效率降低，造成客户端卡死甚至数据传输失败等不同的情况。虽然，目前已经有将页面信息进行拆解后进行数据传输的技术方案，但是，在进行数据传输时，每一次传输的数据量不能有效控制，因而会造成带宽的浪费。
技术实现思路
基于此，有必要针对多次数据传输数据量不能有效控制达到最优化使用带宽的问题，提供一种数据传输优化方法、装置、计算机设备和存储介质。一种数据传输优化方法，包括如下步骤：获取待传输的初始数据数量，根据所述初始数据数量得到数据传输的初始频率阈值；获取数据传输发起端的实时传输数据数量和数据传输接收方的实时接收数据量，根据所述实时传输数据数量和所述实时接收数据量的数据损失差值对所述初始频率阈值进行调整后，建立动态频率阈值曲线；根据预设的修正方案，修正所述动态频率阈值曲线后，得到数据传输最优频率值；将多个所述数据传输最优频率值作为样本入参到神经网络模型进行训练，将训练好的模型按照对应的数据传输量进行编号后形成一数据传输频率阈值模型；根据所述数据传输频率阈值模型的输出结果进行数据传输。在其中一个可能的实施例中，所述获取待传输的初始数据数量，根据所述初始数据数量得到数据传输的初始频率阈值，包括：获取数据传输发起端的待传输页面信息和数据传输接收端的页面信息，抽取上述两个页面信息中的差异数据，统计所述差异数据的数据数量得到待传输的初始数据数量；获取所述初始数据数量传输的历史数据和当前带宽，根据所述初始数据数量传输的历史数据和当前带宽计算得到所述历史数据的平均值，根据所述当前带宽对所述历史数据的平均值进行修正后得到所述初始频率阈值。在其中一个可能的实施例中，所述获取数据传输发起端的实时传输数据数量和数据传输接收方的实时接收数据量，根据所述实时传输数据数量和所述实时接收数据量的数据损失差值对所述初始频率阈值进行调整后，建立动态频率阈值曲线，包括：获取数据传输的历史数据，根据数据传输的历史数据设置数个统计数据传输情况的时间节点，当所述时间节点到来时，统计所述数据传输发起端的剩余的数据量，得到所述数据传输发起端已经发送的数据量；获取所述数据传输接收方根据接收到的数据对页面进行渲染后的页面信息，根据所述页面信息得到所述数据传输接收方得到的数据量；将所述数据传输发起端已经发送的数据量与所述数据传输接收方得到的数据量做差得到数据损失差值，将数据损失差值入参到迭代函数中进行修正后得到实时频率阈值；将所述实时频率阈值按照时间顺序排列，以时间为纵坐标，实时频率阈值的数值为横坐标，建立一动态频率阈值曲线。在其中一个可能的实施例中，所述根据预设的修正方案，修正所述动态频率阈值曲线后，得到数据传输最优频率值，包括：获取所述动态频率值曲线中的异常值，去除所述异常值后得到去除异常值的动态频率阈值曲线；获取所述去除异常值的动态阈值曲线中任意两个相邻动态阈值，计算所述任意两个相邻动态阈值的平均值；将所述任意两个相邻动态阈值的平均值入参到一次平滑算法公式中进行最优值预测，公式为：St＝ayt+(1-a)St-1，式中，St为时间t的最优值；yt为时间t的实际值；St-1为时间t-1的最优值；a为平滑常数，其取值范围为[0，1]；以时间为横坐标，最优值的数值为纵坐标建立一最优值曲线，根据最小二乘法得到所述最优值曲线的趋势线，根据所述趋势线在不同时间段的截距得到不同时间段的数据传输最优频率值。在其中一个可能的实施例中，所述将多个所述数据传输最优频率值作为样本入参到神经网络模型进行训练，将训练好的模型按照对应的数据传输量进行编号后形成一数据传输频率阈值模型，包括：将所述样本的参数入参到深度学习模型的AdaGrad算法中，进行降梯度处理，其公式为：式中：表示第i个参数的梯度，t代表每一次迭代，Gi,t表示了前t步参数θi梯度的累加，ε是一个极小值，作用是防止分母为0，θi,t表示样本的参数，η表示效率参数；将梯度处理后的所述样本的参数入参到深度学习模型中的卷积神经网络模型进行卷积后得到训练好的样本参数，其公式为：式中：b(θi,t)表示训练好的样本参数，a(θi,t)表示第i个卷积输出，N表示卷积核的数量，n表示近邻的卷积核个数，k,α,β是卷积参数，数值范围为0～1；获取所述训练好的样本参数对应的数据传输的数据量，根据所述数据传输量对所述参数样本进行编号后形成一数据传输频率阈值模型。在其中一个可能的实施例中，所述获取数据传输发起端的待传输页面信息和数据传输接收端的页面信息，抽取上述两个页面信息中的差异数据，统计所述差异数据的数据数量得到待传输的初始数据数量，包括：获取数据传输发起端的待传输页面上的特征元素；遍历数据传输接收端的初始页面，获取所述初始页面上与所述待传输页面上的特征元素相同的特征元素；统计所述初始页面上不存在的特征元素，根据所述初始页面上不存在的特征元素建立待传输特征元素集，将所述待传输特征元素集进行二值化处理后得到所述待传输页面和所述初始页面的差异数据，统计所述差异数据的数据数量得到待传输的初始数据数量。在其中一个可能的实施例中，所述获取所述初始数据数量传输的历史数据和当前带宽，根据所述初始数据数量传输的历史数据和当前带宽计算得到所述历史数据的平均值，根据所述当前带宽对所述历史数据的平均值进行修正后得到所述初始频率阈值，包括：获取所述初始数据数量传输的历史数据，去除所述历史数据中的最大值和最小值后计算得到所述历史数据的平均值；发送带宽测试信息分别至所述数据传输发起端和所述数据传输接收端，所述带宽测试信息包括带宽测试的开始时刻和结束时刻；获取从所述开始时刻到所述结束时刻之间的所述数据传输发起端反馈的第一测试报文数和所述数据传输接收端反馈的第二测试报文数，计算所述第一测测试报文数和所述第二测试报文数的平均值得到当前带宽；以所述当前带宽为参数对所述历史数据进行修正后得到述初始频率阈值。一种数据传输优化装置，包括如下模块：初始频率阈值模块，设置为获取待传输的初始数据数量，根据所述初始数据数量设定得到数据传输的初始频率阈值；动态频率阈值曲本文档来自技高网...

【技术保护点】
1.一种数据传输优化方法，其特征在于，包括：/n获取待传输的初始数据数量，根据所述初始数据数量得到数据传输的初始频率阈值；/n获取数据传输发起端的实时传输数据数量和数据传输接收方的实时接收数据量，根据所述实时传输数据数量和所述实时接收数据量的数据损失差值对所述初始频率阈值进行调整后，建立动态频率阈值曲线；/n根据预设的修正方案，修正所述动态频率阈值曲线后，得到数据传输最优频率值；/n将多个所述数据传输最优频率值作为样本入参到神经网络模型进行训练，将训练好的模型按照对应的数据传输量进行编号后形成一数据传输频率阈值模型；/n根据所述数据传输频率阈值模型的输出结果进行数据传输。/n

【技术特征摘要】
1.一种数据传输优化方法，其特征在于，包括：
获取待传输的初始数据数量，根据所述初始数据数量得到数据传输的初始频率阈值；
获取数据传输发起端的实时传输数据数量和数据传输接收方的实时接收数据量，根据所述实时传输数据数量和所述实时接收数据量的数据损失差值对所述初始频率阈值进行调整后，建立动态频率阈值曲线；
根据预设的修正方案，修正所述动态频率阈值曲线后，得到数据传输最优频率值；
将多个所述数据传输最优频率值作为样本入参到神经网络模型进行训练，将训练好的模型按照对应的数据传输量进行编号后形成一数据传输频率阈值模型；
根据所述数据传输频率阈值模型的输出结果进行数据传输。


2.根据权利要求1所述的数据传输优化的方法，其特征在于，所述获取待传输的初始数据数量，根据所述初始数据数量得到数据传输的初始频率阈值，包括：
获取数据传输发起端的待传输页面信息和数据传输接收端的页面信息，抽取上述两个页面信息中的差异数据，统计所述差异数据的数据数量得到待传输的初始数据数量；
获取所述初始数据数量传输的历史数据和当前带宽，根据所述初始数据数量传输的历史数据和当前带宽计算得到所述历史数据的平均值，根据所述当前带宽对所述历史数据的平均值进行修正后得到所述初始频率阈值。


3.根据权利要求1所述的数据传输优化的方法，其特征在于，所述获取数据传输发起端的实时传输数据数量和数据传输接收方的实时接收数据量，根据所述实时传输数据数量和所述实时接收数据量的数据损失差值对所述初始频率阈值进行调整后，建立动态频率阈值曲线，包括：
获取数据传输的历史数据，根据数据传输的历史数据设置数个统计数据传输情况的时间节点，当所述时间节点到来时，统计所述数据传输发起端的剩余的数据量，得到所述数据传输发起端已经发送的数据量；
获取所述数据传输接收方根据接收到的数据对页面进行渲染后的页面信息，根据所述页面信息得到所述数据传输接收方得到的数据量；
将所述数据传输发起端已经发送的数据量与所述数据传输接收方得到的数据量做差得到数据损失差值，将数据损失差值入参到迭代函数中进行修正后得到实时频率阈值；
将所述实时频率阈值按照时间顺序排列，以时间为纵坐标，实时频率阈值的数值为横坐标，建立一动态频率阈值曲线。


4.根据权利要求3所述的数据传输优化的方法，其特征在于，所述根据预设的修正方案，修正所述动态频率阈值曲线后，得到数据传输最优频率值，包括：
获取所述动态频率值曲线中的异常值，去除所述异常值后得到去除异常值的动态频率阈值曲线；
获取所述去除异常值的动态阈值曲线中任意两个相邻动态阈值，计算所述任意两个相邻动态阈值的平均值；
将所述任意两个相邻动态阈值的平均值入参到一次平滑算法公式中进行最优值预测，公式为：
St＝ayt+(1-a)St-1，
式中，St为时间t的最优值；yt为时间t的实际值；
St-1为时间t-1的最优值；a为平滑常数，其取值范围为[0，1]；
以时间为横坐标，最优值的数值为纵坐标建立一最优值曲线，根据最小二乘法得到所述最优值曲线的趋势线，根据所述趋势线在不同时间段的截距得到不同时间段的数据传输最优频率值。


5.根据权利要求2所述的数据传输优化的方法，其特征在于，所述将多个所述数据传输最优频率值作为样本入参到神经网络模型进行训练，将训练好的模型按照对应的数据传输量进行编号后形成一数据传输频率阈值模型，包括：
将所述样本的参数入参到深度学习模型的AdaGrad算法中，进行降梯度处理，其公式为：



式中：表示第i个参数的梯度...

【专利技术属性】
技术研发人员：林泽全，
申请(专利权)人：平安普惠企业管理有限公司，
类型：发明
国别省市：广东;44