一种基于马尔科夫博弈的资源划分管理方法技术

本发明专利技术公开了一种基于马尔科夫博弈的资源划分管理方法，包括，采集云平台运行的不同原始数据资源并进行数据预处理；利用马尔科夫博弈策略对预处理后的数据资源进行特征过滤和选择，计算特征参数权重，得到资源划分参数因子；利用资源划分参数因子构建基于深度强化学习的资源划分管理模型；对资源划分管理模型进行训练并输出划分管理结果，得到当前环境下的最优资源划分管理参数配置组合。本发明专利技术通过马尔科夫博弈策略找到资源划分参数因子，确定了资源划分的准确度，同时，结合深度强化学习策略构建资源划分管理模型得到最优参数配置组合，为资源划分管理提供了最优选择，增加了云平台资源管理的合理性，并提升了用户使用体验。

【技术实现步骤摘要】
一种基于马尔科夫博弈的资源划分管理方法
本专利技术涉及云计算、资源划分的
，尤其涉及一种基于马尔科夫博弈的资源划分管理方法。
技术介绍
云计算产业在全球范围飞速发展,吸引越来越多的企业及个人用户将其业务转移到云市场，在云计算中,云用户的需求有不同特性,部分用户对资源需求迫切,也存在用户对价格较为敏感；云提供商一般提供两种市场模式:商品市场模式和拍卖市场模式,来满足云用户的多样化需求，云提供商资源有限,将所拥有的资源合理地划分到不同市场模式中满足云用户的需求,从而获取更多收益。目前，现有的云平台资源划分管理存在以下问题，一、浏览器有URL(UniformResourceLocator，统一资源定位符)长度限制，不能无限制的合并资源；二、用户在访问不同页面的时候，由于两个页面的URL不一样导致用户不能利用浏览器缓存来加快对这两个页面共有资源的访问速度；因此，现有针对资源划分管理的技术方案并不成熟，无法满足云平台大数据环境下的全面应用。
技术实现思路
本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。鉴于上述现有存在的问题，提出了本专利技术。因此，本专利技术提供了一种基于马尔科夫博弈的资源划分管理方法，能够解决现有云平台资源管理不合理而影响用户体验的问题。为解决上述技术问题，本专利技术提供如下技术方案：包括，采集云平台运行的不同原始数据资源并进行数据预处理；利用马尔科夫博弈策略对预处理后的所述数据资源进行特征过滤和选择，计算特征参数权重，得到资源划分参数因子；利用所述资源划分参数因子构建基于深度强化学习的资源划分管理模型；对所述资源划分管理模型进行训练并输出划分管理结果，得到当前环境下的最优资源划分管理参数配置组合。作为本专利技术所述的一种基于马尔科夫博弈的资源划分管理方法的一种优选方案，其中：采集所述不同原始数据资源包括，根据所述云平台运行不同类型的资源，获取不同参数配置下的数据资源完成时间，整理得到原始参数数据信息；利用所述原始参数数据信息分析归纳所述云平台的所有可配置参数，筛除对资源运行性能无关的参数；结合参数调优准则初步确定一组可能对所述云平台资源运行性能有较大影响的参数候选子集。作为本专利技术所述的一种基于马尔科夫博弈的资源划分管理方法的一种优选方案，其中：所述数据预处理包括，利用One-Hot编码策略将所述不同原始数据资源中的参数数据转换为统一的虚拟变量；标准化所述虚拟变量，减去其平均值并除以标准差，使得所述参数的不同配置值由数学数值替代，形成数值型参数。作为本专利技术所述的一种基于马尔科夫博弈的资源划分管理方法的一种优选方案，其中：获得所述资源划分参数因子包括，基于聚类策略利用所述马尔科夫博弈策略删除所述数据中的无关特征参数；结合Lasso计算过滤后的所有相关特征参数的权重；依次比对计算后的所述权重，判断所述相关特征参数对所述云平台资源运行性能的影响；所述权重越大则影响越大，定义与较大所述权重相对应的所述相关特征参数作为所述资源划分参数因子。作为本专利技术所述的一种基于马尔科夫博弈的资源划分管理方法的一种优选方案，其中：计算所述权重包括，在所述Lasso中设置高惩罚因子并结合损失函数计算，使得全部的所述权重均为零；基于所述原始数据资源中的历史数据资源构建自变量和因变量；控制所述自变量的增量减小惩罚强度以区分非零权重和零权重，并根据数值大小进行排序。作为本专利技术所述的一种基于马尔科夫博弈的资源划分管理方法的一种优选方案，其中：所述马尔科夫博弈策略包括，离散的状态空间与动作空间，如下，θ＝<U，Q1，……Qn，W，E1，……En>其中，U为所述云平台全部资源的状态集合，Qn为云计算的动作集合，W为大数据环境的状态转移概率集合，En为所述云平台基于所述大数据环境的动作回报函数。作为本专利技术所述的一种基于马尔科夫博弈的资源划分管理方法的一种优选方案，其中：构建所述资源划分管理模型包括，利用所述资源划分参数因子构建所述资源划分管理模型；收集所述云平台资源运行的日志获取参数信息，结合所述云平台集群环境确定所需调优的参数及其取值范围，将非数值型参数转换为所述数值型参数；将所述数值型参数的各个取值转换为深度强化学习中的状态空间，对每个所述状态设定增大、减小、不变三种动作；依次选取所述动作开始执行资源运行作业，完成后获得相应的奖励；提取所述资源划分管理模型停止时的参数状态和动作情况，获得对应的所述最优参数配置。作为本专利技术所述的一种基于马尔科夫博弈的资源划分管理方法的一种优选方案，其中：训练所述资源划分管理模型包括，将所述资源划分参数因子的各个取值转换为对应的状态，定义仅允许相邻的状态之间进行转换；从每个所述状态开始，随机选取一个动作开始执行所述资源运行作业；直至所述资源运行作业运行全部结束后，得到其相对于默认参数配置的作业完成时间变化情况，根据所述变化情况获得奖励。作为本专利技术所述的一种基于马尔科夫博弈的资源划分管理方法的一种优选方案，其中：训练还包括，重新调整所述动作得到新的所述参数配置，再次执行所述资源运行作业并记录奖励变化情况，直到所得奖励值满足最大累积奖励公式；当所述资源划分管理模型稳定或停止时，所述状态和所述动作则不会再发生变化，训练完成，输出所述资源划分管理模型。本专利技术的有益效果：本专利技术通过马尔科夫博弈策略找到资源划分参数因子，确定了资源划分的准确度，同时，结合深度强化学习策略构建资源划分管理模型得到最优参数配置组合，为资源划分管理提供了最优选择，增加了云平台资源管理的合理性，并提升了用户使用体验。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：图1为本专利技术第一个实施例所述的一种基于马尔科夫博弈的资源划分管理方法的流程示意图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本专利技术的具体实施方式做详细的说明，显然所描述的实施例是本专利技术的一部分实施例，而不是全部实施例。基于本专利技术中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术的保护的范围。在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是本专利技术还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本专利技术内涵的情况下做类似推广，因此本专利技术不受下面公开的具体实施例的限制。其次，此处所称的“一个实施例”或“实施例”是指可包含于本专利技术至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单本文档来自技高网...

【技术保护点】
1.一种基于马尔科夫博弈的资源划分管理方法，其特征在于：包括，/n采集云平台运行的不同原始数据资源并进行数据预处理；/n利用马尔科夫博弈策略对预处理后的所述数据资源进行特征过滤和选择，计算特征参数权重，得到资源划分参数因子；/n利用所述资源划分参数因子构建基于深度强化学习的资源划分管理模型；/n对所述资源划分管理模型进行训练并输出划分管理结果，得到当前环境下的最优资源划分管理参数配置组合。/n

【技术特征摘要】
1.一种基于马尔科夫博弈的资源划分管理方法，其特征在于：包括，
采集云平台运行的不同原始数据资源并进行数据预处理；
利用马尔科夫博弈策略对预处理后的所述数据资源进行特征过滤和选择，计算特征参数权重，得到资源划分参数因子；
利用所述资源划分参数因子构建基于深度强化学习的资源划分管理模型；
对所述资源划分管理模型进行训练并输出划分管理结果，得到当前环境下的最优资源划分管理参数配置组合。


2.根据权利要求1所述的基于马尔科夫博弈的资源划分管理方法，其特征在于：采集所述不同原始数据资源包括，
根据所述云平台运行不同类型的资源，获取不同参数配置下的数据资源完成时间，整理得到原始参数数据信息；
利用所述原始参数数据信息分析归纳所述云平台的所有可配置参数，筛除对资源运行性能无关的参数；
结合参数调优准则初步确定一组可能对所述云平台资源运行性能有较大影响的参数候选子集。


3.根据权利要求1或2所述的基于马尔科夫博弈的资源划分管理方法，其特征在于：所述数据预处理包括，
利用One-Hot编码策略将所述不同原始数据资源中的参数数据转换为统一的虚拟变量；
标准化所述虚拟变量，减去其平均值并除以标准差，使得所述参数的不同配置值由数学数值替代，形成数值型参数。


4.根据权利要求3所述的基于马尔科夫博弈的资源划分管理方法，其特征在于：获得所述资源划分参数因子包括，
基于聚类策略利用所述马尔科夫博弈策略删除所述数据中的无关特征参数；
结合Lasso计算过滤后的所有相关特征参数的权重；
依次比对计算后的所述权重，判断所述相关特征参数对所述云平台资源运行性能的影响；
所述权重越大则影响越大，定义与较大所述权重相对应的所述相关特征参数作为所述资源划分参数因子。


5.根据权利要求4所述的基于马尔科夫博弈的资源划分管理方法，其特征在于：计算所述权重包括，
在所述Lasso中设置高惩罚因子并结合损失函数计算，使得全部的所述权重均为零；
基于所述原始数据资源中的历史数据...

【专利技术属性】
技术研发人员：杨璐绮，王悦华，
申请(专利权)人：江苏哩咕信息科技有限公司，
类型：发明
国别省市：江苏;32