业务请求与服务质量驱动的边缘资源调度方法及应用技术

本发明专利技术公开了一种业务请求与服务质量驱动的边缘资源调度方法及应用，应用于无服务器计算集群，该无服务器计算集群包含多个边缘节点，每个边缘节点包含多个服务实例，该方法具体包括：查询边缘节点上所有服务实例的服务状态，以确定是否发出告警信息；若是，基于边缘节点上所有服务实例的服务状态和时延敏感程度，确定优先级队列，其中，优先级队列中包括资源使用量大于申请量、且实时并发请求数量大于0的服务实例，优先级队列中的服务实例具有优先级信息；基于优先级信息，调整优先级队列中服务实例的并发请求数量上限。该方法能够适应不同服务实例需要不同的资源量上限的情况，同时也能够适应不同服务的请求对于时延的要求。也能够适应不同服务的请求对于时延的要求。也能够适应不同服务的请求对于时延的要求。

【技术实现步骤摘要】
业务请求与服务质量驱动的边缘资源调度方法及应用


[0001]本专利技术是关于资源调度的
，特别是关于一种业务请求与服务质量驱动的边缘资源调度方法及应用。

技术介绍

[0002]云计算的出现减轻了用户管理物理设施的负担，将运维管理能力下沉到基础设施层，使开箱即用成为一种趋势。无服务器计算作为一种新型云计算模型，只需用户提供业务的核心代码，支撑代码运行的平台则交由云厂商管理维护。
[0003]在无服务器计算平台中，一个服务实例可以同时承载多个并发请求。然而，不同资源分配量下，单实例所能够承载的并发请求数量是不同的，且不同服务实例的时延要求和请求速率也可能不同。同时，在单个节点上运行多服务实例时，可能存在资源争用现象，一个实例分配到的资源是有限的，实例负载越高，造成的资源争用现象就会越严重，请求的时延就会延长。
[0004]实例负载与请求执行时间会呈现一种正相关的关系，负载越大，实例处理请求的时延越大。因此，不仅需要给服务实例在一定资源量下设定合理的初始负载上限值，同时也需要在服务实例运行过程当中根据实时情况动态修改负载上限值。因此，如何能在满足服务质量的前提下，保证服务实例被合理调度成为一个亟需解决的问题。
[0005]传统的单体应用模式中，为不影响时延敏感型应用，往往让此类应用独占节点，但这会导致集群资源利用率低。有研究通过离线测试获取应用受争用的影响，通过回归模型或者分类模型来判断在离线应用是否能够混部，也有研究通过在线监控应用的服务质量来判断时延敏感型应用能否与更多的批处理应用同时运行于同个节点中，或者通过协同过滤的方式用少量的离线测试数据来得到调度策略。但未有研究在无服务器计算场景下对多服务实例竞争节点资源展开研究。
[0006]集群资源管理平台(如YARN,Kubernetes)允许节点上的多实例的资源量上限突破节点的可分配资源量，帮助处理应用在高峰时的请求负载。但是当节点上的多个实例都处于高负载时，因节点资源的有限性，多个实例之间的进程会发生资源上的争用，导致互相的服务质量都会受到影响。
[0007]上述现有的服务实例调度方法，大多数研究并没有考虑边缘节点无服务计算场景。节点上多服务实例竞争节点资源对各个服务实例的时延都存在一定的要求，只是敏感程度不同。同时，因为一个服务实例可以承载多个并发请求，多个请求会受限于此实例的资源上限，也会发生资源的争用，需要能够根据实例的资源上限设置合理的并发请求数量上限。
[0008]公开于该
技术介绍
部分的信息仅仅旨在增加对本专利技术的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

技术实现思路

[0009]本专利技术的目的在于提供一种业务请求与服务质量驱动的边缘资源调度方法及应用，其用以解决如何能在满足服务质量的前提下，保证服务实例被合理调度的技术问题。
[0010]为实现上述目的，本专利技术的实施例提供了一种业务请求与服务质量驱动的边缘资源调度方法，该方法应用于无服务器计算集群，所述无服务器计算集群包含多个边缘节点，每个所述边缘节点包含多个服务实例，所述方法包括：
[0011]查询所述边缘节点上所有服务实例的服务状态，以确定是否发出告警信息；若是，
[0012]基于所述边缘节点上所有服务实例的服务状态和时延敏感程度，确定优先级队列，其中，所述优先级队列中包括资源使用量大于申请量、且实时并发请求数量大于0的服务实例，所述优先级队列中的服务实例具有优先级信息；
[0013]基于所述优先级信息，调整所述优先级队列中服务实例的并发请求数量上限。
[0014]在本专利技术的一个或多个实施方式中，查询所述边缘节点上所有服务实例的服务状态，以确定是否发出告警信息，具体包括：
[0015]查询所述边缘节点上所有服务实例在设定的请求时延上限内完成请求处理的比例；
[0016]基于所述查询的比例，确定是否发出告警信息。
[0017]在本专利技术的一个或多个实施方式中，基于所述优先级信息，调整所述优先级队列中服务实例的并发请求数量上限，具体包括：
[0018]当所述边缘节点接收到告警信息时，按照优先级从低到高的顺序，下调所述优先级队列中的服务实例的并发请求数量上限；
[0019]和/或，当所述边缘节点未接收到告警信息时，周期性检查所述边缘节点上所有服务实例的资源使用量是否小于其并发请求总量；若是，
[0020]按照优先级从高到低的顺序，上调所述优先级队列中并发请求数量上限下调过的服务实例的并发请求数量上限。
[0021]在本专利技术的一个或多个实施方式中，所述方法还包括：
[0022]在将所述服务实例部署到集群的阶段，将所述服务实例的资源量上限、标准请求时延以及时延增长比例输入预训练的机器学习模型，以得到所述服务实例的并发请求数量上限；
[0023]其中，所述标准请求时延为服务实例的请求在无资源争用下的时延，所述时延增长比例为服务实例的请求在资源争用下相对所述标准请求时延的最大增长比例。
[0024]在本专利技术的一个或多个实施方式中，所述方法具体包括：
[0025]获取离线模式下的所述服务实例在相同资源量上限、不同并发请求数量下的请求时延，以及在不同资源量上限、不同并发请求数量下的请求时延；
[0026]基于所述资源量上限、并发请求数量以及相应的请求时延，构建样本数据集；
[0027]基于所述样本数据集对所述机器学习模型进行训练，直至满足训练条件；
[0028]其中，所述机器学习模型为回归模型。
[0029]在本专利技术的一个或多个实施方式中，所述方法还包括：
[0030]获取在线模式下的新的服务实例的资源量上限、并发请求数量、以及在不同资源量上限、不同并发请求数量下的请求时延，构建更新数据集；
[0031]基于所述更新数据集更新所述机器学习模型。
[0032]在本专利技术的一个或多个实施方式中，所述方法还包括：
[0033]获取不同类型服务实例在不同资源量上限、不同并发请求数量下的请求时延，以构建请求时延增长比例集；
[0034]将服务等级目标确定为不同类型服务实例在其不同时延增长比例下的服务请求时延上限，并筛选出每个所述服务实例在不同并发请求数量下大于所述服务请求时延上限的部分请求时延；
[0035]将每个所述服务实例的部分请求时延、不同资源量上限以及不同时延增长比例输入所述机器学习模型，得到每个所述服务实例对应的多个不同的并发请求数量上限；
[0036]将每个所述服务实例对应的多个不同的并发请求数量上限中的最大值确定为所述服务实例对应的并发请求数量上限。
[0037]在本专利技术的另一个方面当中，提供了一种业务请求与服务质量驱动的边缘资源调度系统，所述系统包括：
[0038]查询模块，用于查询边缘节点上所有服务实例的服务状态，以确定是否发出告警信息；
[0039]确定模块，用于基于所述边缘节点上所有服务实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种业务请求与服务质量驱动的边缘资源调度方法，其特征在于，应用于无服务器计算集群，所述无服务器计算集群包含多个边缘节点，每个所述边缘节点包含多个服务实例，所述方法包括：查询所述边缘节点上所有服务实例的服务状态，以确定是否发出告警信息；若是，基于所述边缘节点上所有服务实例的服务状态和时延敏感程度，确定优先级队列，其中，所述优先级队列中包括资源使用量大于申请量、且实时并发请求数量大于0的服务实例，所述优先级队列中的服务实例具有优先级信息；基于所述优先级信息，调整所述优先级队列中服务实例的并发请求数量上限。2.如权利要求1所述的业务请求与服务质量驱动的边缘资源调度方法，其特征在于，查询所述边缘节点上所有服务实例的服务状态，以确定是否发出告警信息，具体包括：查询所述边缘节点上所有服务实例在设定的请求时延上限内完成请求处理的比例；基于所述查询的比例，确定是否发出告警信息。3.如权利要求2所述的业务请求与服务质量驱动的边缘资源调度方法，其特征在于，基于所述优先级信息，调整所述优先级队列中服务实例的并发请求数量上限，具体包括：当所述边缘节点接收到告警信息时，按照优先级从低到高的顺序，下调所述优先级队列中的服务实例的并发请求数量上限；和/或，当所述边缘节点未接收到告警信息时，周期性检查所述边缘节点上所有服务实例的资源使用量是否小于其并发请求总量；若是，按照优先级从高到低的顺序，上调所述优先级队列中并发请求数量上限下调过的服务实例的并发请求数量上限。4.如权利要求1所述的业务请求与服务质量驱动的边缘资源调度方法，其特征在于，所述方法还包括：在将所述服务实例部署到集群的阶段，将所述服务实例的资源量上限、标准请求时延以及时延增长比例输入预训练的机器学习模型，以得到所述服务实例的并发请求数量上限；其中，所述标准请求时延为服务实例的请求在无资源争用下的时延，所述时延增长比例为服务实例的请求在资源争用下相对所述标准请求时延的最大增长比例。5.如权利要求4所述的业务请求与服务质量驱动的边缘资源调度方法，其特征在于，所述方法具体包括：获取离线模式下的所述服务实例在相同资源量上限、不同并发请求数量下的请求时延，以及在不同资源量上限、不同并发请求数量下的请...

【专利技术属性】
技术研发人员：曾锃，滕昌志，缪巍巍，夏元轶，张瑞，李世豪，张明轩，毕思博，余益团，肖茂然，
申请(专利权)人：国网江苏省电力有限公司信息通信分公司，
类型：发明
国别省市：