基于应用服务及关系向量化的辅助配置方法及系统技术方案

本发明专利技术提供了一种基于应用服务及关系向量化的辅助配置方法及系统，包括获取网络流量信息并进行形式化表示，得到应用服务关系描述，获取应用服务所在设备的实时性能信息并进行形式化表示，得到性能信息描述；获取所述应用服务关系描述和所述性能信息描述，组合得到待向量化数据集，计算所述待向量化数据集中每一元的向量，得到应用服务向量、关系向量；根据已配置系统、待配置系统的应用服务向量、关系向量和对应结点对，预测未知系统的结点角色、关系。本发明专利技术能够提高资源利用率，提升部署时效性。效性。效性。

【技术实现步骤摘要】
基于应用服务及关系向量化的辅助配置方法及系统


[0001]本专利技术涉及数据处理、流量分析、应用性能监控领域，尤其涉及基于应用服务指标向量化的辅助配置方法及系统。

技术介绍

[0002]当角色数量增多、结点众多时，复杂分布式系统的配置是极度消耗时间的。现有的各种自动化配置、部署通常不能给出好的方案：一种方法是让系统运行在低负荷配置下，保留相对多的余量，以应对不确定的情况；另一种方法是通过人工方法，在小范围下做测试，提高负载，然后逐步扩大部署范围。
[0003]显然，前一种方法的问题是浪费严重，资源利用率低，一般平均CPU利用率在20％以下或者更低；而后一种方法问题是样本量小，配置缺乏泛化性能，需要反复尝试，推广速度慢，同时这个方法严重受限于人的经验水平和能力水平，往往只能处理小规模系统。
[0004]因此，业界急需一种针对复杂分布式系统的部署配置方案，以提高资源利用率，提升部署时效性。

技术实现思路

[0005]针对现有技术中的缺陷，本专利技术的目的是提供一种基于应用服务及关系向量化的辅助配置方法及系统。
[0006]根据本专利技术提供的一种基于应用服务及关系向量化的辅助配置方法，包括：
[0007]应用服务关系收集步骤：获取网络流量信息并进行形式化表示，得到应用服务关系描述，获取应用服务所在设备的实时性能信息并进行形式化表示，得到性能信息描述；
[0008]应用服务及关系向量化步骤：获取所述应用服务关系描述和所述性能信息描述，组合得到待向量化数据集，计算所述待向量化数据集中每一元的向量，得到应用服务向量、关系向量；
[0009]向量空间对准与辅助配置步骤：根据已配置系统、待配置系统的应用服务向量、关系向量和对应结点对，预测未知系统的结点角色、关系。
[0010]优选地，所述应用服务关系收集步骤包括：
[0011]步骤1.1：获取网络流量信息，将网络流量信息解析为<时间，目的node，发出node，流量类型>的元组；获取服务所在设备各类性能信息，将性能信息解析为<时间，node，指标名，指标值>的元组；
[0012]步骤1.2：将网络流量信息的元组根据不同时间粒度进行聚合，得到的聚合结果，形式为<时间粒度，目的node，发出node，流量类型，次数>，将同一时间粒度的次数归一化，得到流量关联元组：<时间粒度，目的node，发出node，流量类型，归一化的次数>；
[0013]步骤1.3：将性能信息的指标离散化，得到<时间，node，指标名，离散指标值>，设定滑动时间窗口大小L，从0点开始滑动窗口，将每个元组划入时间窗口中，得到新的元组<窗口号，node
‑
指标
‑
离散指标值>，具有相同窗口号的元组称为共现，根据共现关系，计算
node
‑
指标
‑
离散指标值之间的相关系数，得到指标相关元组：<node1,node2,指标和取值1
‑
指标和取值2，相关系数>；
[0014]步骤1.4：离散化流量关联元组中的归一化次数，并转为三元组形式：<目的node，流量类型
‑
归一化离散值，发出node>，其中，流量类型
‑
归一化离散值为一种模式，离散化指标相关元组的相关系数，并转为三元组形式：<node1,指标和取值1
‑
指标和取值2
‑
离散相关系数，node2>，其中，指标和取值1
‑
指标和取值2
‑
离散相关值为一种模式，输出三元组集合。
[0015]优选地，所述应用服务及关系向量化步骤包括：
[0016]步骤2.1：读取服务间已知关系，并将该已知关系形式化表示为<node1,rel,node2>三元组形式，其中rel表示关系，将形式化表示的已知关系与应用服务关系收集步骤生成的元组合并为一个待向量化数据集；
[0017]步骤2.2：将所述待向量化数据集用图谱嵌入translate模型计算所有三元组中每一元的向量，图谱嵌入translate模型包括transE、transH、transD等，本文以transE为例。
[0018]优选地，所述步骤2.1在没有所述已知关系的情况下，直接将应用服务关系收集步骤生成的元组合并为一个待向量化数据集。
[0019]优选地，所述向量空间对准与辅助配置步骤包括：
[0020]步骤3.1：假设已知配置服务网络为network0，未知配置服务网络为network
‑
target，从network
‑
target中选取一个或多个与network0中具有相同角色的结点进行标注，形成点对集合pair
‑
set{<node01,node
‑
target1>,<node02,node
‑
target2>
…
<node0n,node
‑
targetn>}；
[0021]步骤3.2：通过应用服务及关系向量化步骤分别计算已知配置应用服务网络network0和未知配置应用服务网络network
‑
target的结点向量、模式向量、关系向量，其中关系向量仅在network0中存在；
[0022]步骤3.3：从步骤3.2的结果中取出步骤3.1标注对应点对向量对，初始化全连接神经网络，输入为点对中network0的结点向量，输出为network
‑
target的结点向量，训练全连接网络transform
‑
net；
[0023]步骤3.4：将未知配置应用网络的所有结点向量输入步骤3.3的全连接网络，得到转换后的结点向量集合{node
‑
transformed}；
[0024]步骤3.5：从{node
‑
transformed}取出结点，计算与network0中每个结点向量的相似度，如大于相似度的经验阈值S1，则未知结点的类型能够使用对应结点的配置；
[0025]步骤3.6：从{node
‑
transformed}取出结点，两两计算向量的差，将差值与network0中的已知关系的向量计算相似度，如果大于相似度的经验阈值S2，则这两个结点之间具备关系，使用rel对应的配置。
[0026]根据本专利技术提供的一种基于应用服务及关系向量化的辅助配置系统，包括：
[0027]应用服务关系收集本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于应用服务及关系向量化的辅助配置方法，其特征在于，包括：应用服务关系收集步骤：获取网络流量信息并进行形式化表示，得到应用服务关系描述，获取应用服务所在设备的实时性能信息并进行形式化表示，得到性能信息描述；应用服务及关系向量化步骤：获取所述应用服务关系描述和所述性能信息描述，组合得到待向量化数据集，计算所述待向量化数据集中每一元的向量，得到应用服务向量、关系向量；向量空间对准与辅助配置步骤：根据已配置系统、待配置系统的应用服务向量、关系向量和对应结点对，预测未知系统的结点角色、关系。2.根据权利要求1所述的基于应用服务及关系向量化的辅助配置方法，其特征在于，所述应用服务关系收集步骤包括：步骤1.1：获取网络流量信息，将网络流量信息解析为<时间，目的node，发出node，流量类型>的元组；获取服务所在设备各类性能信息，将性能信息解析为<时间，node，指标名，指标值>的元组；步骤1.2：将网络流量信息的元组根据不同时间粒度进行聚合，得到的聚合结果，形式为<时间粒度，目的node，发出node，流量类型，次数>，将同一时间粒度的次数归一化，得到流量关联元组：<时间粒度，目的node，发出node，流量类型，归一化的次数>；步骤1.3：将性能信息的指标离散化，得到<时间，node，指标名，离散指标值>，设定滑动时间窗口大小L，从0点开始滑动窗口，将每个元组划入时间窗口中，得到新的元组<窗口号，node
‑
指标
‑
离散指标值>，具有相同窗口号的元组称为共现，根据共现关系，计算node
‑
指标
‑
离散指标值之间的相关系数，得到指标相关元组：<node1,node2,指标和取值1
‑
指标和取值2，相关系数>；步骤1.4：离散化流量关联元组中的归一化次数，并转为三元组形式：<目的node，流量类型
‑
归一化离散值，发出node>，其中，流量类型
‑
归一化离散值为一种模式，离散化指标相关元组的相关系数，并转为三元组形式：<node1,指标和取值1
‑
指标和取值2
‑
离散相关系数，node2>，其中，指标和取值1
‑
指标和取值2
‑
离散相关值为一种模式，输出三元组集合。3.根据权利要求1所述的基于应用服务及关系向量化的辅助配置方法，其特征在于，所述应用服务及关系向量化步骤包括：步骤2.1：读取服务间已知关系，并将该已知关系形式化表示为<node1,rel,node2>三元组形式，其中rel表示关系，将形式化表示的已知关系与应用服务关系收集步骤生成的元组合并为一个待向量化数据集；步骤2.2：将所述待向量化数据集用图谱嵌入translate模型计算所有三元组中每一元的向量。4.根据权利要求3所述的基于应用服务及关系向量化的辅助配置方法，其特征在于，所述步骤2.1在没有所述已知关系的情况下，直接将应用服务关系收集步骤生成的元组合并为一个待向量化数据集。5.根据权利要求1所述的基于应用服务及关系向量化的辅助配置方法，其特征在于，所述向量空间对准与辅助配置步骤包括：步骤3.1：假设已知配置服务网络为network0，未知配置服务网络为network
‑
target，从network
‑
target中选取一个或多个与network0中具有相同角色的结点进行标注，形成点
对集合pair
‑
set{<node01,node
‑
target1>,<node02,node
‑
target2>
…
<node0n,node
‑
targetn>}；步骤3.2：通过应用服务及关系向量化步骤分别计算已知配置应用服务网络network0和未知配置应用服务网络network
‑
target的结点向量、模式向量、关系向量，其中关系向量仅在network0中存在；步骤3.3：从步骤3.2的结果中取出步骤3.1标注对应点对向量对，初始化全连接神经网络，输入为点对中network0的结点向量，输出为network
‑
target的结点向量，训练全连接网络transform
‑
net；步骤3.4：将未知配置应用网络的所有结点向量输入步骤3.3的全连接网络，得到转换后的结点向量集合{node
‑
transformed}；步骤3.5：从{node
‑
transformed}取出结点，计算与network0中每个结点向量的相似度，如大于相似度的经验阈值S1，则未知结点的类型能够使用对应结点的配置；步骤3.6：从{node
‑
transformed}取出结点，两两计算向量的差，将差值与network0中的已知关系的向量计算相似度，如果大于相似度的经验阈值S2，则这两个结点之间具备关系，使用rel对应的配置。6.一种基于应用服务及关...

【专利技术属性】
技术研发人员：支凤麟，蔡晓华，
申请(专利权)人：上海天旦网络科技发展有限公司，
类型：发明
国别省市：