【技术实现步骤摘要】
本专利技术涉及云计算的，尤其涉及一种稳健可靠快速的混合云平台资源动态分配方法及系统。
技术介绍
1、云计算作为一种新型商业模式，具有按需付费、快速高效部署、安全性高、成本低等优势。用户只需按照需求付费购买，即可从云计算供应商处获得计算、存储、网络等服务。对于一些既要保证数据安全，又要使资源可共享，可利用的场景，需要使用混合云的部署方式。混合云中的多个资源池是相对独立的，具有私有云的安全性。企业将敏感数据部署在私有云上，将对弹性，可扩展性要求高的应用存放在公有云中，与将所有数据单独部署在一种云上，数据的安全性更高，风险更小，并且有效降低了使用成本，更能满足企业多元化的需求。但混合云的部署方式也带来了相应的问题，如异构资源难以统一管理，网络之间隔离与互通的需求，数据的实时同步与交互等。
2、容器技术提供了更轻量级的虚拟化，通过将各种资源进行打包，并配套打包资源运行所依赖的环境，解决了运行环境的一致性问题，在混合云平台的资源分配上得到了广泛的运用。kubernetes是一种功能十分强大的容器集群调度系统，可以收集混合云平台中所有节点使用资源的情况，但目前kubernetes在混合云平台进行资源动态分配调度时面临如下问题：
3、1.混合云平台是由公有云和私有云共同组成的异构结构，虚机和各类资源由于异构、种类多等因素存在难以统一管理和监测的问题，在资源动态分配时，需要一种合适的方法确定当前所需的资源种类和数量，采用目的导向性策略提高效率，节省资源。
4、2.混合云平台有些节点之间的距离较远，且在公有云和
5、3.运行任务的资源分配采用的是队列的方式，即优先给先到的任务分配资源，当多个任务在短时间间隔内或同时到达时，并未考虑任务的优先级，会造成优先级较高的任务稍晚到达时，无法立即运行的问题。
6、4.当节点中存在闲置资源，且该闲置资源不足以运行某一任务时，需要对资源进行弹性回收。kubernetes的弹性伸缩机制一般采用激进扩容、谨慎回收的方式保证服务的稳定性，但同时大量资源未得到及时使用，造成了资源的闲置浪费。
7、综合考虑以上因素和条件，采用卷积原型学习和改进的银行家算法相结合的方式作为kubernetes资源调度方式的判定方法。考虑混合云平台上动态资源分配时需确定所分配资源的种类和数量、分配或回收不同节点的资源速度，以及任务执行的优先顺序，提出了本专利所述方法。
技术实现思路
1、本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。
2、鉴于上述现有稳健可靠快速的混合云平台资源动态分配方法及系统存在的问题，提出了本专利技术。
3、因此，本专利技术目的是提供一种稳健可靠快速的混合云平台资源动态分配方法及系统，其提高动态资源分配过程的效率，改进的银行家算法能够保证资源分配的合理性和安全性，采用容器集群调度系统可以实现混合云平台上异构节点的资源调度，最大程度上保证了混合云平台动态资源分配过程的准确、稳健、合理、安全，有效的提高了系统性能。
4、为解决上述技术问题，本专利技术提供如下技术方案：一种稳健可靠快速的混合云平台资源动态分配方法，包括以下步骤：
5、步骤一：收集资源使用量，通过资源信息收集模块，对混合云平台各节点的cpu、内存、存储和网络资源使用情况的历史数据进行收集，同时监测平台当前的资源使用状况；
6、步骤二：训练卷积原型学习模型并分类，采用resnet18作为特征提取器，将表1中每个节点当前资源使用情况ni输入到resnet18网络中，得到判别特征fi(ni；w,b)，其中w表示网络的参数权重值，b表示网络的偏置；
7、步骤三：资源预分配安全性检查,当一组多个任务同时到达时，采用改进的银行家算法进行资源动态预分配检查；银行家算法的主体是四个矩阵：需求矩阵need[n][m]，已分配矩阵allocation[n][m]，最大需求矩阵max[n][m]和可利用资源矩阵available[n][m]，n表示节点，m表示资源种类，矩阵中对应的数值为该类资源的数量；
8、步骤四：kubernetes容器资源调度系统，事先在k8s集群中部署混合云平台各类资源的pod群，包括cpupod群，内存pod群，存储pod群和网络pod群，根据步骤三的计算结果，当满足资源动态分配合法性时，利用kubernetes的集群管理进行pod的分配与回收，使任务得以合理安全的执行。
9、作为本专利技术所述稳健可靠快速的混合云平台资源动态分配方法的一种优选方案，其中：所述步骤一中历史数据用于训练卷积原型学习模型，模型根据当前资源使用情况进行分类，且当前时刻的数据可以作为下一时刻的历史数据，继续用于模型的更新迭代，也需要计算平台当前的资源余量情况，防止资源的过分配。
10、作为本专利技术所述稳健可靠快速的混合云平台资源动态分配方法的一种优选方案，其中：所述步骤二中计算出每个类别的输出判别特征，取平均值作为该类别的原型pro，计算公式如下：
11、
12、应用在混合云平台的卷积原型学习模型，其类别原型就是指各类资源如cpu、内存、存储和网络的类别原型，最后计算单个样本的判别特征和原型之间的欧式距离，得到分类结果；欧式距离的计算公式di如下：
13、
14、由于各节点所需资源可能为多种，通过设定阈值t，将单个样本归到多类别中，根据所得欧式距离确定所需该类别资源的数量，欧式距离越大，所需该类别资源的数量越多。
15、作为本专利技术所述稳健可靠快速的混合云平台资源动态分配方法的一种优选方案，其中：各节点样本数据经卷积原型学习模型分类后，能够得到资源预分配结果。
16、作为本专利技术所述稳健可靠快速的混合云平台资源动态分配方法的一种优选方案，其中：所述步骤三中各节点所需资源数量难以直接计算，根据步骤二中得到的各样本欧氏距离的大小，组成需求矩阵need[n][m]；计算对于n个节点，已经分配的m类资源数量，组成已分配矩阵allocation[n][m]；由资源收集模块得出可利用资源矩阵available[n][m]；由于云计算资源的最大需求难以估计，各节点所需的资源数目是动态变化的，将银行家算法中的max[n][m]替换为资源余量矩阵remain[n][m]，由步骤一中的资源信息收集模块统计5次本平台资源余量并取均值得出，增强余量监测的可信度。
17、作为本专利技术所述稳健可靠快速的混合云平台资源动态分配方法的一种优选方案，其中：所述资源余量设定下限值为本平台各类资源总量的90％，即资源余量矩阵中各类资源的最小值不能本文档来自技高网...
【技术保护点】
1.一种稳健可靠快速的混合云平台资源动态分配方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的稳健可靠快速的混合云平台资源动态分配方法，其特征在于：所述步骤一中历史数据用于训练卷积原型学习模型，模型根据当前资源使用情况进行分类，且当前时刻的数据可以作为下一时刻的历史数据，继续用于模型的更新迭代，也需要计算平台当前的资源余量情况，防止资源的过分配。
3.根据权利要求2所述的稳健可靠快速的混合云平台资源动态分配方法，其特征在于：所述步骤二中计算出每个类别的输出判别特征，取平均值作为该类别的原型pro，计算公式如下：
4.根据权利要求3所述的稳健可靠快速的混合云平台资源动态分配方法，其特征在于：各节点样本数据经卷积原型学习模型分类后，能够得到资源预分配结果。
5.根据权利要求1所述的稳健可靠快速的混合云平台资源动态分配方法，其特征在于：所述步骤三中各节点所需资源数量难以直接计算，根据步骤二中得到的各样本欧氏距离的大小，组成需求矩阵Need[n][m]；计算对于n个节点，已经分配的m类资源数量，组成已分配矩阵Allocation[n
6.根据权利要求5所述的稳健可靠快速的混合云平台资源动态分配方法，其特征在于：所述资源余量设定下限值为本平台各类资源总量的90％，即资源余量矩阵中各类资源的最小值不能小于本平台该类资源总量的90％，防止资源分配过载，进一步保证了资源动态分配系统的稳健可靠性，计算公式(3):
7.根据权利要求1所述的稳健可靠快速的混合云平台资源动态分配方法，其特征在于：所述步骤四中混合云平台包含的各类资源利用容器技术部署到k8s集群中对应的资源pod中，每个资源pod内包含一个或多个对应资源的容器；pod都被指派了唯一的ip地址，pod中的容器共享网络端口，利用ip地址和端口对资源进行扩容分配。
8.一种稳健可靠快速的混合云平台资源动态分配系统，其特征在于，包括：
9.根据权利要求8所述的稳健可靠快速的混合云平台资源动态分配系统，其特征在于：所述混合云平台资源动态分配使用改进的银行家算法对资源预分配的结果进行安全性检查；根据资源信息收集模块和训练模型模块的结果计算出资源余量矩阵、需求矩阵、可利用资源矩阵和已分配矩阵，计算出银行家算法的结果，即资源预分配是否合理安全。
10.根据权利要求8所述的稳健可靠快速的混合云平台资源动态分配系统，其特征在于：所述资源分配的结果输送至Kubernetes管理的容器集群调度模块中，通过提前构建好的容器化pod群对混合云平台各节点进行资源动态分配。
...【技术特征摘要】
1.一种稳健可靠快速的混合云平台资源动态分配方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的稳健可靠快速的混合云平台资源动态分配方法，其特征在于：所述步骤一中历史数据用于训练卷积原型学习模型，模型根据当前资源使用情况进行分类，且当前时刻的数据可以作为下一时刻的历史数据，继续用于模型的更新迭代，也需要计算平台当前的资源余量情况，防止资源的过分配。
3.根据权利要求2所述的稳健可靠快速的混合云平台资源动态分配方法，其特征在于：所述步骤二中计算出每个类别的输出判别特征，取平均值作为该类别的原型pro，计算公式如下：
4.根据权利要求3所述的稳健可靠快速的混合云平台资源动态分配方法，其特征在于：各节点样本数据经卷积原型学习模型分类后，能够得到资源预分配结果。
5.根据权利要求1所述的稳健可靠快速的混合云平台资源动态分配方法，其特征在于：所述步骤三中各节点所需资源数量难以直接计算，根据步骤二中得到的各样本欧氏距离的大小，组成需求矩阵need[n][m]；计算对于n个节点，已经分配的m类资源数量，组成已分配矩阵allocation[n][m]；由资源收集模块得出可利用资源矩阵available[n][m]；由于云计算资源的最大需求难以估计，各节点所需的资源数目是动态变化的，将银行家算法中的max[n][m]替换为资源余量矩阵remain[n][m]，由步骤一中的资源信息收集模块统计5次本平台资源余量并取均值...
【专利技术属性】
技术研发人员：杨波，陈登熠，淦飞，李伟泽，叶臣，苟明全，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。