基于数据分析和云计算数据分析系统资源管理方法技术方案

本发明专利技术涉及图像处理技术领域，公开了基于数据分析和云计算数据分析系统资源管理方法，包括：获取每个用户邻近范围内接入的所有位置节点；每个用户与其它每一个用户之间的相似评价性；将所有相似评价性中最大值所对应的两个用户作为参考用户和目标用户组；利用目标用户组中获得目标服务器组；根据目标服务组中每一个服务器在进行计算时的占用率得到的负载指数对接入到目标服务器组中的目标用户是否进行分配进行判断；避免高运算用户一直接入到固定的服务器中造成服务器一直负载过高，服务器出现异常的情况，降低了高负载服务器长时间处于高负载情况的风险，提高了整个云系统的计算能力和降低云系统的运行成本。能力和降低云系统的运行成本。能力和降低云系统的运行成本。

【技术实现步骤摘要】
基于数据分析和云计算数据分析系统资源管理方法


[0001]本专利技术涉及数据处理
，具体涉及基于数据分析和云计算数据分析系统资源管理方法。

技术介绍

[0002]系统资源管理场景中，算力资源分布在云计算系统中，云对于不同用户计算速度与传输时延不同，而用户利用云的算力执行计算任务时，用户需要的最好的计算环境为高算力低时延的计算节点进行计算，而实际生产过程中节点之间算力差异较大，分布时延也不相同，云主控需要尽量安排对于用户而言高算力低时延的节点进行计算。
[0003]云计算系统拥有大量计算节点，而用户接入云中，其与节点之间分布不同，常规lof算法通过计算用户位置相对于其他节点的离群特征进行判断，将用户接入到固定的节点中，而由于用户需求的计算力不同，如果节点接入的用户需求的运算量较大，则会导致节点负载增高，而其它节点接入的用户的需求计算力可能比较小，就会存在部分的节点计算力一直处于负载过大而另一部分节点可能处于空置状态，负载过大节点位置的服务器会容易发生异常，造成整个云计算系统整体的运算能力降低的风险，提高了整个云计算系统的运行成本。

技术实现思路

[0004]本专利技术用于解决目前部分节点的负载一直处于高负载运算的过程，容易造成该节点出的服务器发生异常的技术问题，提供一种根据当前高负载节点出的服务器在下次运算前对接入的用户进行从新分配，降低高负载节点处的服务器的负载，提高整个云计算系统的运算能力，避免服务器一直处于高负载的运算中造成服务器容易发生异常的情况的基于数据分析和云计算数据分析系统资源管理方法，包括：获取云计算系统中每个服务器的位置节点和接入到云计算系统中的用户；获取每个用户邻近范围内接入的所有位置节点；利用获取的每个用户邻近范围内所有的位置节点获取每个用户与其它每一个用户之间的相似评价性；获取获得的所有相似评价性中最大值所对应的两个用户作为参考用户；对每个参考用户与其它每个用户之间的相似评价性进行降序排列得到降序序列，将降序序列中目标位置之前的所有相似评价性作为目标相似评价性组；获取目标相似评价性组中相似评价性数量最大的一组目标相似评价性组中所包含的用户作为目标用户，形成目标用户组；根据目标用户组中每一个用户邻近范围内的所有位置节点获取目标服务器组；利用目标服务组中每一个服务器在进行计算时的占用率获取该目标服务器组的负载指数；当该目标服务器组的负载指数超过设定的阈值时，将该目标服务器组对应的目标
用户组中的用户接入到其它位置节点的服务器上。
[0005]进一步的，每个用户与其它每一个用户之间的相似评价性的方法包括：获取每个用户接入的所有位置节点和其它每个用户接入的所有位置节点的交集位置节点的数量及该两个用户之间的位置距离得到每个用户和其它每一个用户之间的相似评价性。
[0006]进一步的，获取所述降序序列中目标位置的方法包括：获取降序序列中每一个相似评价性与该相似评价性下一个的相似评价性的差值；将得到差值最大的所对应的相似评价性所在的位置作为目标位置。
[0007]进一步的，获取目标服务器组的负载指数的方法包括：获取目标服务器组所有目标服务器当前的占用率；获取所有目标服务器中相同占有率最多的占有率、所有占有率中的最大占有率和最小占有率；利用相同占有率最多的占有率、最大占有率和最小占有率获得目标服务器的负载指数；所述负载指数的表达式为：式中：表示第个目标服务器的占用率；表示所有目标服务器中相同占有率最多的占有率；表示所有目标服务器中的占有率最小的占有率；表示所有目标服务器中的占有率最大的占有率。
[0008]进一步的，获取每个用户邻近范围内接入的所有位置节点的方法是通过LOF算法来获取的。
[0009]进一步的，所述相似评价性的表达式为：式中：为用户和用户的相似评价性；表示用户邻近范围内接入的所有位置节点；表示用户邻近范围内接入的所有位置节点；表示用户邻近范围内接入的所有位置节点和用户邻近范围内接入的所有位置节点的交集中位置节点的数量；表示用户和用户之间的位置距离。
[0010]本专利技术的有益效果是：利用每个用户邻近范围内接入的所有位置节点获取每个用户其它用户之间的相似评价性，获取相似评价性最大值所对应的两个参考用户，根据两个参考用户分别与其它用户之间的相似评价性获取目标用户组，利用目标用户组中用户邻近范围内的位置节点获取目标服务器组，利用目标服务器组中每一个服务器的占用率来计算该目标服务器组的负载指数，当目标服务器组中的负载指数超过设定的阈值时，说明接入到目标服务器组中的目标用户组中的用户所需求的运算能力过大，如下一次还将该需求运
算能力过大的用户接入到目标服务器组中则会继续造成服务器负载过大的情况，因此当获得该目标用户的需求能力过大时，在下次运算前将该目标用户组中的所有用户接入到其它服务器中，避免高运算用户一直接入到固定的服务器中造成服务器一直负载过高，服务器出现异常的情况，降低了高负载服务器长时间处于高负载情况的风险，提高了整个云系统的计算能力和降低云系统的运行成本。
附图说明
[0011]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0012]图1为本专利技术方法流程示意图。
具体实施方式
[0013]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0014]实施例在云计算系统中，将位置节点布置到云计算系统中，每个位置节点设置运控主机即服务器，通过位置节点但的分布坐标构建云系统样本空间，用户按照其位置接入到云系统中的位置节点中，形成整个云系统，用户需要进行计算任务时，由接入到的服务器进行运算。
[0015]如图1所示的基于数据分析和云计算数据分析系统资源管理方法，包括：获取云计算系统中每个服务器的位置节点和接入到云计算系统中的用户；在云系统样本空间中，位置节点与用户接入位置均作为数据点存在与空间中，通过现有的LOF蒜贩获取每个用户邻近范围内接入的所有位置节点；如用户，其离群因子，LOF算法得到用户 邻近范围内接入的所有位置节点组；按照此方法得到所有用户的邻近范围内接入的所有位置节点。
[0016]由于用户接入的位置节点是多个，不同的用户可能存在接入到相同的位置节点中，鉴于此本申请利用每个用户邻近范围内所有的位置节点获取每个用户与其它每一个用户之间的相似评价性；具体的方法为：获取每个用户接入的所有位置节点和其它每个用户接入的所有位置节点的交集位置节点的数量及该两个用户之间的位置距离得到每个用户和其它每一个用户之间的相似评价性；相似评价性的表达式为：
式中：为用户和用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于数据分析和云计算数据分析系统资源管理方法，其特征在于，包括：获取云计算系统中每个服务器的位置节点和接入到云计算系统中的用户；获取每个用户邻近范围内接入的所有位置节点；利用获取的每个用户邻近范围内所有的位置节点获取每个用户与其它每一个用户之间的相似评价性；获取获得的所有相似评价性中最大值所对应的两个用户作为参考用户；对每个参考用户与其它每个用户之间的相似评价性进行降序排列得到降序序列，将降序序列中目标位置之前的所有相似评价性作为目标相似评价性组；获取目标相似评价性组中相似评价性数量最大的一组目标相似评价性组中所包含的用户作为目标用户，形成目标用户组；根据目标用户组中每一个用户邻近范围内的所有位置节点获取目标服务器组；利用目标服务组中每一个服务器在进行计算时的占用率获取该目标服务器组的负载指数；当该目标服务器组的负载指数超过设定的阈值时，将该目标服务器组对应的目标用户组中的用户接入到其它位置节点的服务器上。2.根据权利要求1所述的基于数据分析和云计算数据分析系统资源管理方法，其特征在于，每个用户与其它每一个用户之间的相似评价性的方法包括：获取每个用户接入的所有位置节点和其它每个用户接入的所有位置节点的交集位置节点的数量及该两个用户之间的位置距离得到每个用户和其它每一个用户之间的相似评价性。3.根据权利要求1所述的基于数据分析和云计算数据分析系统资源管理方法，其特征在于，获...

【专利技术属性】
技术研发人员：马海峰，李少敏，王静，荆海伟，宋士彪，鲁宽，李福蕾，李司慧，董冉，
申请(专利权)人：济南大陆机电股份有限公司，
类型：发明
国别省市：