一种系统限流方法和装置制造方法及图纸

本申请实施例提供了一种系统限流方法和装置，涉及金融科技技术领域，该方法包括：基于调用方系统与被调用方系统之间的请求响应特征，确定被调用方系统的负载状态，以及基于调用方系统在多个历史时间帧内的吞吐量数据，获得调用方系统在当前时间帧内的预测吞吐量；然后采用被调用方系统的负载状态和调用方系统的预测吞吐量，确定调用方系统的吞吐量阈值，并采用吞吐量阈值，对调用方系统进行流量控制，实现了在调用方系统侧进行限流，有效解决传统限流方案中重复发送调用请求带来的IO资源占用问题，进而既使调用方系统的调用请求得到充分满足，也在保证被调用方系统的稳定性的前提下最大化地提升了资源利用率。前提下最大化地提升了资源利用率。前提下最大化地提升了资源利用率。

【技术实现步骤摘要】
一种系统限流方法和装置


[0001]本申请实施例涉及金融科技
，尤其涉及一种系统限流方法和装置。

技术介绍

[0002]微服务架构是主流的IT系统架构方案，微服务架构在面对预期外流量时，采用限流熔断技术进行限流，限流熔断技术是系统能够在灾难情况下提供有损服务的理论依据。比如，在电商领域中，商品查询、下单、支付等被调用方系统通常对应一个每秒处理事务数(Transactions Per Second，简称TPS)阀值。当调用方系统的流量调用大于TPS阀值时，被调用方系统拒绝调用方系统的新调用请求。当调用方系统的流量调用小于等于TPS阀值时，被调用方系统允许调用方系统的新调用请求。
[0003]当调用方系统的调用请求被拒绝时，调用方系统会再次发起调用请求，而此时被调用方系统大概率会再次拒绝调用请求。对于被调用方系统来说，重复多次接收调用请求导致IO资源被占用，进而导致系统负载过高。

技术实现思路

[0004]本申请实施例提供了一种系统限流方法和装置，实现在调用方系统侧进行限流，以保证被调用方系统的稳定性的前提下最大化地提升资源利用率。
[0005]一方面，本申请实施例提供了一种系统限流方法，该方法包括：
[0006]获取第i
‑
1个时间帧内调用方系统与被调用方系统之间的请求响应特征；
[0007]基于所述请求响应特征，确定所述被调用方系统的负载状态；以及基于所述调用方系统在第i个时间帧之前的多个历史时间帧内的吞吐量数据，获得所述调用方系统在第i个时间帧内的预测吞吐量，其中，i为大于1的正整数；
[0008]采用所述被调用方系统的负载状态和所述预测吞吐量，确定所述调用方系统在所述第i个时间帧内的吞吐量阈值；
[0009]基于所述吞吐量阈值，对所述第i个时间帧内所述调用方系统向所述被调用方系统发送的调用请求进行流量控制。
[0010]本申请实施例中，基于调用方系统与被调用方系统之间的请求响应特征，确定被调用方系统的负载状态，以及基于调用方系统的历史吞吐量数据，获得调用方系统在当前时间帧内的预测吞吐量；然后采用被调用方系统的负载状态和调用方系统的预测吞吐量，确定调用方系统的吞吐量阈值，并采用吞吐量阈值，对调用方系统进行流量控制，实现了在调用方系统侧进行限流，有效解决传统限流方案中调用方系统重复发送调用请求带来的被调用方系统IO资源占用的问题，进而既使调用方系统的调用请求得到充分满足，也在保证被调用方系统的稳定性的前提下最大化地提升了资源利用率。
[0011]一方面，本申请实施例提供了一种系统限流装置，该装置包括：
[0012]获取模块，用于获取第i
‑
1个时间帧内调用方系统与被调用方系统之间的请求响应特征；
[0013]预测模块，用于基于所述请求响应特征，确定所述被调用方系统的负载状态；以及基于所述调用方系统在第i个时间帧之前的多个历史时间帧内的吞吐量数据，获得所述调用方系统在第i个时间帧内的预测吞吐量，其中，i为大于1的正整数；
[0014]处理模块，用于采用所述被调用方系统的负载状态和所述预测吞吐量，确定所述调用方系统在所述第i个时间帧内的吞吐量阈值；
[0015]控制模块，用于基于所述吞吐量阈值，对所述第i个时间帧内所述调用方系统向所述被调用方系统发送的调用请求进行流量控制。
[0016]一方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述系统限流方法的步骤。
[0017]一方面，本申请实施例提供了一种计算机可读存储介质，其存储有可由计算机设备执行的计算机程序，当所述程序在计算机设备上运行时，使得所述计算机设备执行上述系统限流方法的步骤。
[0018]需要说明的是，
技术实现思路
部分提供上述方案仅仅是本申请中的一个具体实施方式，并不是本申请本身；相应地，
技术实现思路
部分提供的技术效果也仅仅是具体实施方式的技术效果，而不是本申请的全部技术效果。
附图说明
[0019]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0020]图1为本申请实施例提供的一种系统架构的结构示意图；
[0021]图2为本申请实施例提供的一种系统限流方法的流程示意图一；
[0022]图3为本申请实施例提供的一种系统限流方法的流程示意图二；
[0023]图4为本申请实施例提供的一种请求响应特征的示意图；
[0024]图5为本申请实施例提供的一种请求响应梯度曲线的示意图；
[0025]图6为本申请实施例提供的一种实际吞吐量的探测结果示意图；
[0026]图7为本申请实施例提供的一种系统限流方法的流程示意图三；
[0027]图8为本申请实施例提供的一种系统限流装置的结构示意图；
[0028]图9为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
[0029]为了使本专利技术的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0030]参考图1，其为本申请实施例适用的一种系统架构图，该系统架构至少包括调用方系统101和被调用方系统102，调用方系统101的数量可以是一个或多个，被调用方系统102的数量也可以是一个或多个，本申请对调用方系统101和被调用方系统102的数量不做具体
限定。
[0031]调用方系统101和被调用方系统102对应不同的应用，应用可以是客户端应用、网页版应用、小程序应用等。调用方系统101和被调用方系统102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。调用方系统101和被调用方系统102之间可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
[0032]调用方系统101通过向被调用方系统102发送调用请求，以获得被调用方系统提供的业务服务。比如，在购物场景中，调用方系统101可以分别向商品查询、下单、支付关联的被调用方系统102发送调用请求，以获得商品查询服务、下单服务、支付服务。另外，本申请中的系统限流方法适用于调用方系统101与整个被调用方系统102之间的限流场景，也适用于调用方系统101与被调用方系统102中每个业务服务之间的限流场景。
[0033]基于图1所示的系统架构图，本申请实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种系统限流方法，其特征在于，包括：获取第i
‑
1个时间帧内调用方系统与被调用方系统之间的请求响应特征；基于所述请求响应特征，确定所述被调用方系统的负载状态；以及基于所述调用方系统在第i个时间帧之前的多个历史时间帧内的吞吐量数据，获得所述调用方系统在第i个时间帧内的预测吞吐量，其中，i为大于1的正整数；采用所述被调用方系统的负载状态和所述预测吞吐量，确定所述调用方系统在所述第i个时间帧内的吞吐量阈值；基于所述吞吐量阈值，对所述第i个时间帧内所述调用方系统向所述被调用方系统发送的调用请求进行流量控制。2.如权利要求1所述的方法，其特征在于，所述获取第i
‑
1个时间帧内调用方系统与被调用方系统之间的请求响应特征，包括：统计第i
‑
1个时间帧内所述调用方系统与所述被调用方系统之间的请求数量或响应数量；将所述第i
‑
1个时间帧的时长与所述请求数量的比值，作为所述请求响应特征；或者，将所述第i
‑
1个时间帧的时长与所述响应数量的比值，作为所述请求返回特征。3.如权利要求1所述的方法，其特征在于，所述基于所述请求响应特征，确定所述被调用方系统的负载状态，包括：基于所述第i
‑
1个时间帧内的请求响应特征，与第i
‑
2个时间帧内的请求响应特征，确定所述第i
‑
1个时间帧内的请求响应增益；基于所述第i
‑
1个时间帧内的请求响应增益和所述第i
‑
1个时间帧的时长，确定所述第i
‑
1个时间帧内的请求响应梯度；基于所述请求响应梯度与预设的过载系数之间的关联关系，确定所述被调用方系统的负载状态。4.如权利要求3所述的方法，其特征在于，所述基于所述请求响应梯度与预设的过载系数之间的关联关系，确定所述被调用方系统的负载状态，包括：若所述请求响应梯度大于所述过载系数，则确定所述被调用方系统的负载状态为高负载状态；若所述请求响应梯度小于等于所述过载系数，且大于零，则确定所述被调用方系统的负载状态为低负载状态；若所述请求响应梯度小于等于零，则确定所述被调用方系统的负载状态为正常状态。5.如权利要求1所述的方法，其特征在于，所述基于所述调用方系统在...

【专利技术属性】
技术研发人员：魏帅超，汪仕富，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：