一种高并发自动扩缩容方法、系统、计算机设备及介质技术方案

本发明专利技术提供的一种高并发自动扩缩容方法、系统、计算机设备及介质，方法包括以下步骤：获取历史业务数据，从历史业务数据中提取得到业务性能指标以及机器性能指标；根据业务性能指标以及机器性能指标，通过训练得到的机器学习模型，预测得到指标监控阈值；匹配流量规则，根据流量规则以及指标监控阈值形成扩容机制，执行扩容机制的扩缩容动作；方案通过机器自动学习限流策略，实现灵活可变的服务限流配置，根据系统服务资源情况动态控制，开放各个服务的实时调用的指标监控阈值，以提高服务的可用性，在面对突发性的外部请求暴增时，能够提供弹性管理的能力，保障核心服务的服务能力，可广泛应用于网络安全技术领域。广泛应用于网络安全技术领域。广泛应用于网络安全技术领域。

【技术实现步骤摘要】
一种高并发自动扩缩容方法、系统、计算机设备及介质


[0001]本专利技术涉及网络安全
，尤其是一种高并发自动扩缩容方法、系统、计算机设备及存储介质。

技术介绍

[0002]相关技术中，服务器面对大规模高并发访问时，经常会出现服务或接口面对暴涨的请求而不可用的情况，甚至引发连锁反应导致整个应用系统崩溃。相关技术中，当访问或者请求量突增时，很容易导致底层服务提供方的服务器宕机，比如物联网应用场景下，周期性暴增的流量数据上报等情况下，通常都会导致服务器崩溃或者宕机的严重后果。

技术实现思路

[0003]有鉴于此，为至少部分解决上述技术问题之一，本专利技术实施例目的在于提供一种能够实现灵活可变的服务限流配置的高并发自动扩缩容方法，以及能够对应实现该方法的系统、计算机设备及存储介质。
[0004]第一方面，本申请技术方案提供了一种高并发自动扩缩容方法，方法包括以下步骤：
[0005]获取历史业务数据，从所述历史业务数据中提取得到业务性能指标以及机器性能指标；
[0006]根据所述业务性能指标以及所述机器性能指标，通过训练得到的机器学习模型，预测得到指标监控阈值；
[0007]匹配流量规则，根据所述流量规则以及所述指标监控阈值形成扩容机制，执行所述扩容机制的扩缩容动作。
[0008]在本申请方案的一种可行的实施例中，在执行所述扩容机制的扩缩容动作这一步骤之前，所述方法还包括以下步骤：
[0009]获取所述扩容机制的触发策略，根据所述触发策略设置触发器；
>[0010]根据所述触发器的信令，执行所述扩容机制的扩缩容动作。
[0011]在本申请方案的一种可行的实施例中，在执行所述扩容机制的扩缩容动作这一步骤之后，所述方法还包括以下步骤：
[0012]周期性地获取当前业务数据，根据所述当前业务数据更新所述机器学习模型，得到更新后的所述指标监控阈值。
[0013]在本申请方案的一种可行的实施例中，从所述历史业务数据中提取得到业务性能指标以及机器性能指标这一步骤，其包括：
[0014]根据关键字段对所述历史业务数据进行分类得到业务性能指标样本以及机器性能指标样本；
[0015]根据所述业务性能指标样本以及所述机器性能指标样本，通过决策树算法得到资源临界点，根据所述资源临界点确定所述指标监控阈值。
[0016]在本申请方案的一种可行的实施例中，所述通过决策树算法得到资源临界点这一步骤，其包括：
[0017]根据预设的令牌数扩展步长得到当前限流令牌数；
[0018]根据所述业务性能指标的结果集以及所述机器性能指标的使用率，计算得到与限流策略的可信度，所述限流策略是根据所述当前限流令牌数所确定的；
[0019]确定所述可信度满足可信度阈值，输出所述资源临界点，所述资源临界点包括流量临界点、业务性能临界点以及机器性能临界点。
[0020]在本申请方案的一种可行的实施例中，所述匹配流量规则这一步骤，其包括：
[0021]获取服务网关的调用请求，根据所述调用请求中的应用ID、服务ID、调用请求来源、开放标识以及操作标识匹配所述流量规则。
[0022]在本申请方案的一种可行的实施例中，所述执行所述扩容机制的扩缩容动作，包括以下步骤至少之一：
[0023]根据漏桶的限流方式执行扩缩容动作；
[0024]根据令牌桶的限流方式执行扩缩容动作。
[0025]另一方面，本申请技术方案还提供了一种高并发自动扩缩容系统，其包括：
[0026]数据获取单元，用于获取历史业务数据，从所述历史业务数据中提取得到业务性能指标以及机器性能指标；
[0027]机器学习单元，用于根据所述业务性能指标以及所述机器性能指标，通过训练得到的机器学习模型，预测得到指标监控阈值；
[0028]策略执行单元，用于匹配流量规则，根据所述流量规则以及所述指标监控阈值形成扩容机制，执行所述扩容机制的扩缩容动作。
[0029]另一方面，本专利技术的技术方案还提供一种高并发自动扩缩容的计算机设备，其包括：
[0030]至少一个处理器；
[0031]至少一个存储器，用于存储至少一个程序；
[0032]当至少一个程序被至少一个处理器执行，使得至少一个处理器运行第一方面中的一种高并发自动扩缩容方法。
[0033]另一方面，本专利技术的技术方案还提供了一种存储介质，其中存储有处理器可执行的程序，处理器可执行的程序在由处理器执行时用于运行第一方面中的方法。
[0034]本专利技术的优点和有益效果将在下面的描述中部分给出，其他部分可以通过本专利技术的具体实施方式了解得到：
[0035]本申请的技术方案通过应用级的机器自动学习限流策略，实现灵活可变的服务限流配置，从而根据系统服务资源情况动态控制，开放各个服务的实时调用的指标监控阈值，以提高服务的可用性，从而在资源相对固定的情况下，面对突发性的外部请求暴增时，能够提供弹性管理的能力，保障核心服务的服务能力。
附图说明
[0036]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于
本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0037]图1为本申请技术方案中提供的一种高并发自动扩缩容方法的步骤流程图；
[0038]图2为本申请技术方案中自动扩缩容限流的部署示意图。
具体实施方式
[0039]下面详细描述本专利技术的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能理解为对本专利技术的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
[0040]本申请提出一种基于自动学习限流策略的高并发自动扩缩容方案，基于统一服务网关，通过应用级的机器自动学习限流策略，实现灵活可变的服务限流配置，从而根据系统服务资源情况动态控制开放各个服务的实时调用的最大或最小的每秒事务数(Transactions Per Second，TPS)或每秒查询率(Queries Per Second，QPS)阈值，尽可能的保障服务的高可用，从而在资源相对固定的情况下，面对突发性的外部请求暴增时，提供一些弹性管理的能力，保障核心服务的服务能力。
[0041]第一方面，如图1所示，为解决前述
技术介绍
中所指出的技术缺陷，本申请的实施例提供了一种高并发自动扩缩容方法，其主要包括步骤S100
‑
S300：
[0042]S100、获取历史业务数据，从历史业务数据中提取得到业务性能指标以及机器性能指标；
[0043]实施例中，历本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高并发自动扩缩容方法，其特征在于，方法包括以下步骤：获取历史业务数据，从所述历史业务数据中提取得到业务性能指标以及机器性能指标；根据所述业务性能指标以及所述机器性能指标，通过训练得到的机器学习模型，预测得到指标监控阈值；匹配流量规则，根据所述流量规则以及所述指标监控阈值形成扩容机制，执行所述扩容机制的扩缩容动作。2.根据权利要求1所述的一种高并发自动扩缩容方法，其特征在于，在执行所述扩容机制的扩缩容动作这一步骤之前，所述方法还包括以下步骤：获取所述扩容机制的触发策略，根据所述触发策略设置触发器；根据所述触发器的信令，执行所述扩容机制的扩缩容动作。3.根据权利要求1所述的一种高并发自动扩缩容方法，其特征在于，在执行所述扩容机制的扩缩容动作这一步骤之后，所述方法还包括以下步骤：周期性地获取当前业务数据，根据所述当前业务数据更新所述机器学习模型，得到更新后的所述指标监控阈值。4.根据权利要求1所述的一种高并发自动扩缩容方法，其特征在于，从所述历史业务数据中提取得到业务性能指标以及机器性能指标这一步骤，其包括：根据关键字段对所述历史业务数据进行分类得到业务性能指标样本以及机器性能指标样本；根据所述业务性能指标样本以及所述机器性能指标样本，通过决策树算法得到资源临界点，根据所述资源临界点确定所述指标监控阈值。5.根据权利要求4所述的一种高并发自动扩缩容方法，其特征在于，所述通过决策树算法得到资源临界点这一步骤，其包括：根据预设的令牌数扩展步长得到当前限流令牌数；根据所述业务性能指标的结果集以及所述机器性能指标的使用率，计算得到与限流策略的可信度，所述限流策略是根据所述当前限流令牌数所...

【专利技术属性】
技术研发人员：左绘，陈鑫远，
申请(专利权)人：天翼物联科技有限公司，
类型：发明
国别省市：