用于微服务集群的数据增量步段的标识值生成方法技术

本申请涉及微服务集群的数据存储领域，具体地公开了一种用于微服务集中的数据增量步段的标识值生成方法，其以深度神经网络来构建编码

【技术实现步骤摘要】
用于微服务集群的数据增量步段的标识值生成方法


[0001]本专利技术涉及微服务集群的数据存储领域，且更为具体地，涉及一种用于微服务集群的数据增量步段的标识值生成方法、生成系统和电子设备。

技术介绍

[0002]微服务集群(即，微服务加多实例集群)体系下，数据存储逐渐成为整个系统的性能瓶颈。基于微服务集群合理切分数据并且尽可能避免数据迁移是微服务集群系统能够长期稳定运行的基础。也就是，受限于数据瓶颈，在面对大量数据时，数据的合理拆分至关重要。因此，如何合理地分配、存储和尽可能地避免数据分片横向扩展后的数据迁移是急需解决的技术问题。
[0003]在微服务集群的数据处理方案中，一个关键在于生成数据增量步长的标识。在现行的方案中，通常通过数据中心ID、机器ID、时间戳和数据增量步长的现有序列来生成当前的数据增量步长的标识值。但是这种方案仅能够挖掘出数据增量步长中的表面信息而无法获取数据增量步长中的隐藏信息，导致在基于该数据增量步段的标识值进行数据分片和横向拓展时正确率不高，且不利于灵活拓展。
[0004]因此，期待一种优化的用于微服务集群的数据增量步段的标识值生成方案。

技术实现思路

[0005]为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种用于微服务集群的数据增量步段的标识值生成方法、生成系统和电子设备，其以深度神经网络来构建编码
‑
解码器以基于数据中心ID，机器ID，时间戳和现有序列生成含有用于编码的数据中心ID，机器ID，时间戳和现有序列的信息数据增量步段的标识值，通过这样的方式，来提高数据分片和横向拓展的准确率且提高数据处理的灵活性。
[0006]根据本申请的一个方面，提供了一种用于微服务集群的数据增量步段的标识值生成方法，其包括：
[0007]训练阶段，包括：
[0008]获取训练数据集，所述训练数据集包括数据中心ID、机器ID、时间戳和现有序列；
[0009]将所述数据中心ID、所述机器ID、所述时间戳和所述现有序列分别转化为第一输入向量、第二输入向量、第三输入向量和第四输入向量；
[0010]将所述第一输入向量、所述第二输入向量、所述第三输入向量和所述第四输入向量级联后输入编码器，以获得包含所述数据中心ID、所述机器ID、所述时间戳和所述现有序列的全部相关信息的训练特征向量，所述编码器为第一深度神经网络；
[0011]将所述训练特征向量输入解码器，以从所述训练特征向量获得作为数据增量步段的标识值的训练特征值，所述解码器为第二深度神经网络；
[0012]计算所述训练特征向量与所述训练特征值之间的第一交叉熵损失函数值；
[0013]将所述训练特征值添加到所述训练特征向量的末尾以构成新训练特征向量；
[0014]分别计算所述新训练特征向量与作为标签值的所述数据中心ID、所述机器ID和所述时间戳之间的第二、第三和第四交叉熵损失函数值；及
[0015]基于所述第一、第二、第三和第四交叉熵损失函数值的加权和来训练所述第一深度神经网络和所述第二深度神经网络；以及
[0016]预测阶段，包括：
[0017]获取待预测的数据中心ID，机器ID，时间戳和现有序列；
[0018]将所述待预测的数据中心ID，机器ID，时间戳和现有序列输入经训练阶段训练完成的作为编码器的第一深度神经网络，以获得特征向量；及
[0019]将所述特征向量输入经训练阶段训练完成的作为解码器的第二深度神经网络，以获得解码值，所述解码值为所述数据增量步段的标识值。
[0020]在根据本申请的用于微服务集群的数据增量步段的标识值生成方法中，基于所述第一、第二、第三和第四交叉熵损失函数值的加权和来训练所述第一深度神经网络和所述第二深度神经网络，包括：计算所述第一、第二、第三和第四交叉熵损失函数值的加权和；以及，在每一轮迭代中，先以所述第一、第二、第三和第四交叉熵损失函数值的加权和来更新所述第一深度神经网络的参数，后以所述第一、第二、第三和第四交叉熵损失函数值的加权和来更新所述第二深度神经网络的参数。
[0021]用于微服务集群的数据增量步段的标识值生成方法基于所述第一、第二、第三和第四交叉熵损失函数值的加权和来训练所述第一深度神经网络和所述第二深度神经网络，包括：计算所述第一、第二、第三和第四交叉熵损失函数值的加权和；以所述所述第一、第二、第三和第四交叉熵损失函数值的加权和，来训练所述第一深度神经网络；以及，在所述第一深度神经网络训练完成后，以所述所述第一、第二、第三和第四交叉熵损失函数值的加权和来训练所述第二深度神经网络。
[0022]用于微服务集群的数据增量步段的标识值生成方法所述预测阶段进一步包括：将所述特征向量通过分类器以获得分类结果，所述分类结果用于表示所述数据增量步段所对应的类别信息。
[0023]用于微服务集群的数据增量步段的标识值生成方法将所述特征向量通过分类器以获得分类结果，包括：将所述特征向量输入Softmax分类函数以获得所述特征向量归属于所述数据增量步段归属于各个类别的概率；以及，基于所述数据增量步段归属于各个类别的概率，确定所述分类结果。
[0024]用于微服务集群的数据增量步段的标识值生成方法所述第一深度神经网络和所述第二深度神经网络为全连接深度神经网络。
[0025]根据本申请的另一方面，还提供了一种用于微服务集群的数据增量步段的标识值生成系统，其包括：
[0026]训练模块，包括：
[0027]训练数据单元，用于获取训练数据集，所述训练数据集包括数据中心ID、机器ID、时间戳和现有序列；
[0028]向量转化单元，用于将所述数据中心ID、所述机器ID、所述时间戳和所述现有序列分别转化为第一输入向量、第二输入向量、第三输入向量和第四输入向量；
[0029]训练编码单元，用于将所述第一输入向量、所述第二输入向量、所述第三输入向量
和所述第四输入向量级联后输入编码器，以获得包含所述数据中心ID、所述机器ID、所述时间戳和所述现有序列的全部相关信息的训练特征向量，所述编码器为第一深度神经网络；
[0030]训练解码单元，用于将所述训练特征向量输入解码器，以从所述训练特征向量获得作为数据增量步段的标识值的训练特征值，所述解码器为第二深度神经网络；
[0031]第一损失函数值计算单元，用于计算所述训练特征向量与所述训练特征值之间的第一交叉熵损失函数值；
[0032]特征向量重构单元，用于将所述训练特征值添加到所述训练特征向量的末尾以构成新训练特征向量；
[0033]第二损失函数值计算单元，用于分别计算所述新训练特征向量与作为标签值的所述数据中心ID、所述机器ID和所述时间戳之间的第二、第三和第四交叉熵损失函数值；以及
[0034]训练单元，用于基于所述第一、第二、第三和第四交叉熵损失函数值的加权和来训练所述第一深度神经网络和所述第二深度神经网络；以及
[0035]预测模块，包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于微服务集群的数据增量步段的标识值生成方法，其特征在于，包括：训练阶段，包括：获取训练数据集，所述训练数据集包括数据中心ID、机器ID、时间戳和现有序列；将所述数据中心ID、所述机器ID、所述时间戳和所述现有序列分别转化为第一输入向量、第二输入向量、第三输入向量和第四输入向量；将所述第一输入向量、所述第二输入向量、所述第三输入向量和所述第四输入向量级联后输入编码器，以获得包含所述数据中心ID、所述机器ID、所述时间戳和所述现有序列的全部相关信息的训练特征向量，所述编码器为第一深度神经网络；将所述训练特征向量输入解码器，以从所述训练特征向量获得作为数据增量步段的标识值的训练特征值，所述解码器为第二深度神经网络；计算所述训练特征向量与所述训练特征值之间的第一交叉熵损失函数值；将所述训练特征值添加到所述训练特征向量的末尾以构成新训练特征向量；分别计算所述新训练特征向量与作为标签值的所述数据中心ID、所述机器ID和所述时间戳之间的第二、第三和第四交叉熵损失函数值；及基于所述第一、第二、第三和第四交叉熵损失函数值的加权和来训练所述第一深度神经网络和所述第二深度神经网络；以及预测阶段，包括：获取待预测的数据中心ID，机器ID，时间戳和现有序列；将所述待预测的数据中心ID，机器ID，时间戳和现有序列输入经训练阶段训练完成的作为编码器的第一深度神经网络，以获得特征向量；及将所述特征向量输入经训练阶段训练完成的作为解码器的第二深度神经网络，以获得解码值，所述解码值为所述数据增量步段的标识值。2.根据权利要求1所述的用于微服务集群的数据增量步段的标识值生成方法，其中，基于所述第一、第二、第三和第四交叉熵损失函数值的加权和来训练所述第一深度神经网络和所述第二深度神经网络，包括：计算所述第一、第二、第三和第四交叉熵损失函数值的加权和；在每一轮迭代中，先以所述第一、第二、第三和第四交叉熵损失函数值的加权和来更新所述第一深度神经网络的参数，后以所述第一、第二、第三和第四交叉熵损失函数值的加权和来更新所述第二深度神经网络的参数。3.根据权利要求1所述的用于微服务集群的数据增量步段的标识值生成方法，其中，基于所述第一、第二、第三和第四交叉熵损失函数值的加权和来训练所述第一深度神经网络和所述第二深度神经网络，包括：计算所述第一、第二、第三和第四交叉熵损失函数值的加权和；以所述所述第一、第二、第三和第四交叉熵损失函数值的加权和，来训练所述第一深度神经网络；以及在所述第一深度神经网络训练完成后，以所述所述第一、第二、第三和第四交叉熵损失函数值的加权和来训练所述第二深度神经网络。4.根据权利要求1所述的用于微服务集群的数据增量步段的标识值生成方法，其中，所述预测阶段进一步包括：将所述特征向量通过分类器以获得分类结果，所述分类结果用于
表示所述数据增量步段所对应的类别信息。5.根据权利要求1所述的用于微服务集群的数据增量步段的标识值生成方法，其中，将所述特征向量通过分类器以获得分类结果，包括：将所述特征向量输入Softmax分类函数以获得所述特征向量归属于所述数据增量步段归属于各个类别的概率；以及，基于所述数据增量步段归属于各个类别的概率，确定...

【专利技术属性】
技术研发人员：刘云飞，
申请(专利权)人：深圳万顺叫车云信息技术有限公司，
类型：发明
国别省市：