基于分布式系统环境下的动态资源分配方法技术方案

本发明专利技术提供了基于分布式系统环境下的动态资源分配方法，其特征在于，包括以下步骤：获取资源并存入资源池中进行缓存；调用方发起代理IP资源分配请求，由资源管理方根据当前资源状况与调用方所携带信息按资源分配机制进行分配，并对不同类型资源进行记录。本发明专利技术有益效果：根据调用资源返回特征与地区特征的资源特征进行动态资源分配的方案，有效提高系统资源使用效率，减少资源消耗。减少资源消耗。减少资源消耗。

【技术实现步骤摘要】
基于分布式系统环境下的动态资源分配方法


[0001]本专利技术属于计算机
，尤其是涉及一种基于分布式系统环境下的动态资源分配方法。

技术介绍

[0002]基于分布式环境开发的信息系统具有资源共享、计算速度高、可靠性强、通信方便等优点，正日益成为广受欢迎的开发架构。但由于分布式系统自身特点与环境的复杂性，对于资源分配策略的置定往往是重中之重。合理有效的资源分配策略可以提高资源复用率、避免失效浪费资源、针对特殊情况动态分配资源。分布式资源管理共有四种管理方式分别是集中管理、功能分布管理、浮动管理、分散管理。但目前的管理分配方式还不够智能，当遭遇突发情况的时候无法合理调配资源，需要人工干预，当遇到突发情况时就会造成系统资源浪费。

技术实现思路

[0003]有鉴于此，本专利技术旨在克服现有技术中上述问题的不足之处，提出一种基于分布式系统环境下的动态资源分配方法。
[0004]为达到上述目的，本专利技术的技术方案是这样实现的：
[0005]基于分布式系统环境下的动态资源分配方法，包括以下步骤：
[0006]A.获取资源并存入资源池中进行缓存；
[0007]B.调用方发起代理IP资源分配请求，由资源管理方根据当前资源状况与调用方所携带信息按资源分配机制进行分配，并对不同类型资源进行记录。
[0008]进一步的，步骤A中，由资源管理方判断缓存中的资源是否保持在规定的数量，如果数量低于预期数量，则获取资源。
[0009]进一步的，步骤A中，在进行缓存读写操作时，开启读写锁。
[0010]进一步的，步骤A中，对资源池进行更新，由资源管理方通过定时器判断缓存中的资源是否已经超过失效时间，如果缓存中的资源已经失效，则对资源进行删除操作。
[0011]进一步的，如果资源池数量为多个，则需要更新所有资源池。
[0012]进一步的，步骤B中，资源管理方进行资源分配的具体过程为：当资源分配请求来临时，资源管理方对请求资源次数、访问目标进行分析，从所对应的访问目标列表中选择表现良好的代理IP返回。
[0013]进一步的，步骤B中，由资源管理方对不同类型资源进行记录，且记录内容为访问目标、结果、响应时间、成功率。
[0014]进一步的，资源分配机制包括资源数量配置规则、资源分配规则、代理IP资源循环规则、资源池熔断规则，
[0015]资源数量配置规则为：通过资源更新周期、全部资源数量、单个资源的平均存活时间求得单位时间内获取资源的标准，以X为单位时间内获取资源的数量，计算公式如下，
[0016]X＝全部资源数量*单个资源的平均存活时间/资源更新周期，且X>1；
[0017]资源分配规则为：设置主资源池和调用方资源池，且主资源池包含所有的代理IP资源，各个调用方资源池记录调用失败的资源；并在调用方发起第一次请求的过程中，优先提供在主资源池且不在调用方资源池的代理IP，这些代理IP没有失败的调用记录，第一次调用尽量保证能够成功；发起第二次请求时，使用调用方资源池，给失败的调用资源重新使用的机会；
[0018]代理IP资源循环规则：当第一次调用成功的时候，不对资源进行任何处理；若失败则将对应代理IP加入调用方资源池；当第二次调用成功时，将调用方资源池的对应资源释放，将其视为优质资源，可以优先使用；
[0019]资源池熔断规则：当调用方资源池数量与全部资源池数量相同时，将视为该调用方出现问题，此时将不会再信任该调用方操作，直到两个资源池数量不再相同。
[0020]相对于现有技术，本专利技术具有以下优势：
[0021]本专利技术所述的基于分布式系统环境下的动态资源分配方法根据调用资源返回特征与地区特征的资源特征进行动态资源分配的方案，有效提高系统资源使用效率，减少资源消耗。
附图说明
[0022]构成本专利技术的一部分的附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0023]图1为本专利技术实施例所述的基于分布式系统环境下的动态资源分配方法流程图。
具体实施方式
[0024]需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。
[0025]下面将参考附图并结合实施例来详细说明本专利技术。
[0026]如图所示，基于分布式系统环境下的动态资源分配方法，包括以下步骤：
[0027]A.获取资源并存入资源池中进行缓存；
[0028]B.调用方发起代理IP资源分配请求，由资源管理方根据当前资源状况与调用方所携带信息按资源分配机制进行分配，并对不同类型资源进行记录。
[0029]步骤A中，由资源管理方判断缓存中的资源是否保持在规定的数量，如果数量低于预期数量，则获取资源。
[0030]步骤A中，由于各多个线程同时操作缓存，在进行缓存读写操作时，开启读写锁，避免数据覆盖。
[0031]步骤A中，对资源池进行更新，由资源管理方通过定时器判断缓存中的资源是否已经超过失效时间，如果缓存中的资源已经失效，则对资源进行删除操作，如果缓存中的资源数量低于预期数量，则开始获取资源。
[0032]如果资源池数量为多个，则需要更新所有资源池。
[0033]步骤B中，资源管理方进行资源分配的具体过程为：当资源分配请求来临时，资源管理方对请求资源次数、访问目标进行分析，从所对应的访问目标列表中选择表现良好的
代理IP返回。
[0034]步骤B中，由资源管理方对不同类型资源进行记录，且记录内容为访问目标、结果、响应时间、成功率，为后续优化资源分配策略进行数据储备。
[0035]资源分配机制包括资源数量配置规则、资源分配规则、代理IP资源循环规则、资源池熔断规则，
[0036]资源数量配置规则为：通过资源更新周期、全部资源数量、单个资源的平均存活时间求得单位时间内获取资源的标准，以X为单位时间内获取资源的数量，计算公式如下，
[0037]X＝全部资源数量*单个资源的平均存活时间/资源更新周期，且X>1；
[0038]并在此基础上微调，留出应急额度；
[0039]资源分配规则为：设置主资源池和调用方资源池，且主资源池包含所有的代理IP资源，各个调用方资源池记录调用失败的资源；并在调用方发起第一次请求的过程中，优先提供在主资源池且不在调用方资源池的代理IP，这些代理IP没有失败的调用记录，第一次调用尽量保证能够成功；发起第二次请求时，使用调用方资源池，给失败的调用资源重新使用的机会；由于本实施例是针对代理IP的动态分配，因此设置资源分配规则需要考虑到代理IP在网络请求中重试的问题；
[0040]代理IP资源循环规则：当第一次调用成功的时候，不对资源进行任何处理；若失败则将对应代理IP加入调用方资源池；当第二次调用成功时，将调用方资源池的对应资源释放，将其视为优质资源，可以优先使用；
[0041]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于分布式系统环境下的动态资源分配方法，其特征在于，包括以下步骤：A.获取资源并存入资源池中进行缓存；B.调用方发起代理IP资源分配请求，由资源管理方根据当前资源状况与调用方所携带信息按资源分配机制进行分配，并对不同类型资源进行记录。2.根据权利要求1所述的基于分布式系统环境下的动态资源分配方法，其特征在于：步骤A中，由资源管理方判断缓存中的资源是否保持在规定的数量，如果数量低于预期数量，则获取资源。3.根据权利要求1所述的基于分布式系统环境下的动态资源分配方法，其特征在于：步骤A中，在进行缓存读写操作时，开启读写锁。4.根据权利要求1所述的基于分布式系统环境下的动态资源分配方法，其特征在于：步骤A中，对资源池进行更新，由资源管理方通过定时器判断缓存中的资源是否已经超过失效时间，如果缓存中的资源已经失效，则对资源进行删除操作。5.根据权利要求1所述的基于分布式系统环境下的动态资源分配方法，其特征在于：如果资源池数量为多个，则需要更新所有资源池。6.根据权利要求1所述的基于分布式系统环境下的动态资源分配方法，其特征在于，步骤B中，资源管理方进行资源分配的具体过程为：当资源分配请求来临时，资源管理方对请求资源次数、访问目标进行分析，从所对应的访问目标列表中选择表现良好的代理IP返回。7.根据权利要求1所述的基于分布式系统环境下的动态资源分配方法，...

【专利技术属性】
技术研发人员：郭冰峰，吕婉莹，熊林欣，朱兴，龚乐天，
申请(专利权)人：爱信诺征信有限公司，
类型：发明
国别省市：