训练方法及装置、预测资源消耗量的方法及装置制造方法及图纸

提供一种训练方法及装置、预测资源消耗量的方法及装置。该训练方法应用于分布式数据库系统，所述系统包括多个数据库服务器，其中每个服务器包括一个或多个租户，该方法包括：获取多个数据库服务器上的租户流量指标；利用所述租户流量指标训练神经网络的权重矩阵，所述神经网络用于预测多个数据库服务器中的任意一个数据库服务器上的租户的资源消耗量；所述权重矩阵具有第一权重维度、第二权重维度和第三权重维度，分别用于衡量所述多个数据库服务器中的不同数据库服务器对神经网络的预测结果的贡献、一个数据库服务器上的不同租户对所述神经网络的预测结果的贡献、租户流量指标中的不同类型的流量指标对神经网络的预测结果的贡献。的贡献。的贡献。

【技术实现步骤摘要】
训练方法及装置、预测资源消耗量的方法及装置


[0001]本公开涉及机器学习
，更为具体的，涉及一种训练方法及装置、预测资源消耗量的方法及装置。

技术介绍

[0002]分布式数据库可以包括多个数据库服务器，每个数据库服务器可以包括一个或多个租户。为了合理利用数据库服务器上的资源，数据库服务器可以根据租户的资源消耗量为租户分配对应的资源。
[0003]目前，预测租户资源消耗量的方式主要是通过统计学的方式。但是，这种方式存在预测结果不准确的问题。另外，这种方式需要对多个数据库服务器中的每个数据库服务器单独进行统计分析，从而造成运算过程复杂。

技术实现思路

[0004]本公开提供一种训练方法及装置、预测资源消耗量的方法及装置。下面对本公开实施例涉及的各个方面进行介绍。
[0005]第一方面，提供一种训练方法，所述方法应用于分布式数据库系统，所述分布式数据库系统包括多个数据库服务器，其中每个数据库服务器包括一个或多个租户，所述方法包括：获取所述多个数据库服务器上的租户流量指标；利用所述多个数据库服务器上的租户流量指标训练神经网络的权重矩阵，所述神经网络用于预测所述多个数据库服务器中的任意一个数据库服务器上的租户的资源消耗量，所述权重矩阵具有第一权重维度、第二权重维度和第三权重维度，所述第一权重维度用于衡量所述多个数据库服务器中的不同数据库服务器对所述神经网络的预测结果的贡献，所述第二权重维度用于衡量一个所述数据库服务器上的不同租户对所述神经网络的预测结果的贡献，所述第三权重维度用于衡量所述租户流量指标中的不同类型的流量指标对所述神经网络的预测结果的贡献。
[0006]第二方面，提供一种预测资源消耗量的方法，所述方法应用于分布式数据库系统，所述分布式数据库系统包括多个数据库服务器，其中每个数据库服务器包括一个或多个租户，所述方法包括：获取待预测的租户的流量指标；采用神经网络对所述流量指标进行处理，得到所述待预测的租户的资源消耗量；其中，所述神经网络包括权重矩阵，所述权重矩阵具有第一权重维度、第二权重维度和第三权重维度，所述第一权重维度用于衡量所述多个数据库服务器中的不同数据库服务器对所述神经网络的预测结果的贡献，所述第二权重维度用于衡量一个所述数据库服务器上的不同租户对所述神经网络的预测结果的贡献，所述第三权重维度用于衡量所述租户流量指标中的不同类型的流量指标对所述神经网络的预测结果的贡献。
[0007]第三方面，提供一种训练装置，所述装置应用于分布式数据库系统，所述分布式数据库系统包括多个数据库服务器，其中每个数据库服务器包括一个或多个租户，所述装置包括：获取模块，用于获取所述多个数据库服务器上的租户流量指标；训练模块，用于利用
所述多个数据库服务器上的租户流量指标训练神经网络的权重矩阵，所述神经网络用于预测所述多个数据库服务器中的任意一个数据库服务器上的租户的资源消耗量，所述权重矩阵具有第一权重维度、第二权重维度和第三权重维度，所述第一权重维度用于衡量所述多个数据库服务器中的不同数据库服务器对所述神经网络的预测结果的贡献，所述第二权重维度用于衡量一个所述数据库服务器上的不同租户对所述神经网络的预测结果的贡献，所述第三权重维度用于衡量所述租户流量指标中的不同类型的流量指标对所述神经网络的预测结果的贡献。
[0008]第四方面，提供一种预测资源消耗量的装置，所述装置应用于分布式数据库系统，所述分布式数据库系统包括多个数据库服务器，其中每个数据库服务器包括一个或多个租户，所述装置包括：获取模块，用于获取待预测的租户的流量指标；预测模块，配置为采用神经网络对所述流量指标进行处理，得到所述待预测的租户的资源消耗量；其中，所述神经网络包括权重矩阵，所述权重矩阵具有第一权重维度、第二权重维度和第三权重维度，所述第一权重维度用于衡量所述多个数据库服务器中的不同数据库服务器对所述神经网络的预测结果的贡献，所述第二权重维度用于衡量一个所述数据库服务器上的不同租户对所述神经网络的预测结果的贡献，所述第三权重维度用于衡量所述租户流量指标中的不同类型的流量指标对所述神经网络的预测结果的贡献。
[0009]第五方面，提供一种训练装置，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器被配置为执行所述可执行代码，以实现第一方面所述的方法。
[0010]第六方面，提供一种预测资源消耗量的装置，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器被配置为执行所述可执行代码，以实现如第二方面所述的方法。
[0011]第七方面，提供一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被执行时，能够实现如第一方面或第二方面所述的方法。
[0012]第八方面，提供一种计算机程序产品，包括可执行代码，当所述可执行代码被执行时，能够实现如第一方面或第二方面所述的方法。
[0013]本公开实施例利用神经网络来预测租户的资源消耗量，与统计学的方式相比，能够提高预测结果的准确性。另外，本公开实施例中神经网络的权重矩阵具有三个维度，其中，第一权重维度与多个数据库服务器中的不同数据库服务器相关，第二权重维度与一个数据库服务器中的不同租户相关，第三权重维度与一个租户中的不同类型的流量指标相关，通过这三个维度可以预测每个服务器上的每个租户的每个流量指标对应的资源消耗量，也就是说，通过该神经网络即可预测不同服务器上的租户的资源消耗量，而不需要对每个数据库服务器单独进行运算，从而可以降低运算复杂度。
附图说明
[0014]图1为相关技术中一种分布式数据库的示意性系统架构图。
[0015]图2为本公开一实施例提供的训练方法的示意性流程图。
[0016]图3为本公开一实施例提供的神经网络的模型架构图。
[0017]图4为本公开一实施例提供的预测资源消耗量的方法的示意性流程图。
[0018]图5为本公开一实施例提供的训练装置的示意性结构图。
[0019]图6为本公开一实施例提供的预测资源消耗量的装置的示意性结构图。
[0020]图7为本公开一实施例提供的一种装置的示意性结构图。
具体实施方式
[0021]下面结合本公开实施例中的附图对本公开实施例进行描述。以下描述中，参考形成本公开一部分并以说明之方式示出本公开实施例的具体方面或可使用本公开实施例的具体方面的附图。应理解，本公开实施例可在其它方面中使用，并可包括附图中未描绘的结构或逻辑变化。因此，以下详细描述不应以限制性的意义来理解，且本公开的范围由所附权利要求书界定。例如，应理解，结合所描述方法的揭示内容可以同样适用于用于执行所述方法的对应设备或系统，且反之亦然。例如，如果描述一个或多个具体方法步骤，则对应的设备可以包含如功能单元等一个或多个单元，来执行所描述的一个或多个方法步骤(例如，一个单元执行一个或多个步骤，或多个单元，其中每个都执行多个步骤中的一个或多个)，即使附图中未明确描述或说明这种一个或多个单元。另一方面，例如，如果基于如功能单元等一个或多个单元本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种训练方法，所述方法应用于分布式数据库系统，所述分布式数据库系统包括多个数据库服务器，其中每个数据库服务器包括一个或多个租户，所述方法包括：获取所述多个数据库服务器上的租户流量指标；利用所述多个数据库服务器上的租户流量指标训练神经网络的权重矩阵，所述神经网络用于预测所述多个数据库服务器中的任意一个数据库服务器上的租户的资源消耗量，所述权重矩阵具有第一权重维度、第二权重维度和第三权重维度，所述第一权重维度用于衡量所述多个数据库服务器中的不同数据库服务器对所述神经网络的预测结果的贡献，所述第二权重维度用于衡量一个所述数据库服务器上的不同租户对所述神经网络的预测结果的贡献，所述第三权重维度用于衡量所述租户流量指标中的不同类型的流量指标对所述神经网络的预测结果的贡献。2.根据权利要求1所述的方法，所述神经网络包括多个分支网络，所述多个分支网络分别对应所述租户流量指标中的多种类型的流量指标，所述利用所述多个数据库服务器上的租户流量指标训练神经网络的权重矩阵，包括：将所述多种类型的流量指标分别输入所述多个分支网络，以生成所述多个分支网络的权重矩阵；根据所述多个分支网络的权重矩阵，生成所述神经网络的权重矩阵。3.根据权利要求2所述的方法，所述多个分支网络包括第一分支网络和第二分支网络，所述第一分支网络和所述第二分支网络对应的流量指标不同，使得所述第一分支网络和所述第二分支网络包含的层数不同。4.根据权利要求2所述的方法，所述根据所述多个分支网络对应的权重矩阵，生成所述神经网络的权重矩阵，包括：利用注意力机制，确定所述多种类型的流量指标的权重；根据所述多种类型的流量指标的权重，对所述多个分支网络的权重矩阵进行加权，得到所述神经网络的权重矩阵。5.根据权利要求1所述的方法，所述利用所述多个数据库服务器上的租户流量指标训练神经网络的权重矩阵，包括：根据所述多个数据库服务器上的租户的资源消耗量随时间变化的规律，获取所述多个数据库服务器上的租户的时间特征；利用元缩放网络，学习所述时间特征对于所述多个数据库服务器中的任意一个数据库服务器上的租户的资源消耗量的贡献，更新所述元缩放网络的权重矩阵；将所述元缩放网络的权重矩阵与所述神经网络的权重矩阵融合，更新所述神经网络的权重矩阵。6.根据权利要求1
‑
5中任一项所述的方法，所述资源包括以下中的一种或多种：中央处理器CPU资源、图形处理器GPU资源以及存储资源。7.根据权利要求1
‑
5中任一项所述的方法，所述流量特征包括以下中的一种或多种：每秒事务处理量、每秒查询率、事务处理响应时间、查询响应时间、逻辑读统计信息。8.一种预测资源消耗量的方法，所述方法应用于分布式数据库系统，所述分布式数据库系统包括多个数据库服务器，其中每个数据库服务器包括一个或多个租户，所述方法包括：
获取待预测的租户的流量指标；采用神经网络对所述流量指标进行处理，得到所述待预测的租户的资源消耗量；其中，所述神经网络包括权重矩阵，所述权重矩阵具有第一权重维度、第二权重维度和第三权重维度，所述第一权重维度用于衡量所述多个数据库服务器中的不同数据库服务器对所述神经网络的预测结果的贡献，所述第二权重维度用于衡量一个所述数据库服务器上的不同租户对所述神经网络的预测结果的贡献，所述第三权重维度用于衡量所述租户流量指标中的不同类型的流量指标对所述神经网络的预测结果的贡献。9.根据权利要求8所述的方法，所述资源包括以下中的一种或多种：中央处理器CPU资源、图形处理器GPU资源以及存储资源。10.根据权利要求9所述的方法，所述流量特征包括以下中的一种或多种：每秒事务处理量、每秒查询率、事务处理响应时间、查询响应时间、逻辑读统计信息。11.一种训练装置，所述装置应用于分布式数据库系统，所述分布式数据库系统包括多个数据库服务器，其中每个数据库服务器包括一个或多个租户，所述装置包括：获取模块，用于...

【专利技术属性】
技术研发人员：李婷，唐心宇，李建国，沈竹筠，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：