【技术实现步骤摘要】
本申请涉及计算机，特别是涉及一种集群节点分类方法、装置、存储介质及处理器。
技术介绍
1、数据沙箱(data sandbox)是一种数据管理工具，其提供了一个用于安全地探索和分析数据的隔离的环境。数据沙箱通常包含一份数据的副本，这样用户就可以自由地进行实验，而不会影响到生产环境的数据。集群(cluster)是一组通过快速网络互联的服务器，它们协同工作以完成特定的任务。在数据沙箱环境中，集群可以提供更高的处理能力和存储容量，以支持大规模的数据分析和处理。集群中一般包含多个节点(node)，每个节点可以是一个单独的计算机或服务器。集群中，每个节点都有自己的处理器、内存和存储设备，可以独立运行任务。
2、在数据沙箱集群中，节点可以被分类为不同的角色，以满足不同的需求。例如，一些节点可能被配置为专门处理数据加载和转换的任务，而其他节点可能被配置为运行复杂的数据分析和机器学习算法。当前对于数据沙箱集群中的节点进行分类，具体可以是按功能分类。依照功能，可以将节点划分为具有不同功能的角色，如数据加载节点、计算节点、存储节点等。每种类型的节点负责处理特定的任务，例如，数据加载节点负责从数据源获取数据，计算节点负责执行数据处理和分析任务，存储节点负责存储和管理数据。
3、目前，按照功能划分集群节点类别的方法主要依赖节点的硬件能力。例如，一些节点可能有更强大的中央处理器(central processing unit，cpu)和图形处理器(graphicsprocessing unit，gpu)，适合执行计算密集型的任务，在
技术实现思路
1、基于上述问题，本申请提供了一种集群节点分类方法、装置、存储介质及处理器，目的是更加充分利用集群资源，通过对集群节点进行分类，提升节点运行任务的表现。
2、本申请实施例公开了如下技术方案：
3、第一方面，本申请提供一种集群节点分类方法，包括：
4、根据集群在多个资源维度的特征和所述集群中目标待分类节点在所述多个资源维度的特征，获取所述目标待分类节点的资源占用指标数据；所述资源占用指标数据包括与所述多个资源维度一一对应的多个资源占用权重；
5、根据所述目标待分类节点面向于多种任务类型的任务运行数据，获取所述目标待分类节点的多组任务类型特征数据；所述多组任务类型特征数据与所述多种任务类型一一对应，每一组任务类型特征数据包括与所述多个资源维度一一对应的多个资源相关性权重；
6、将所述资源占用指标数据中各资源维度对应的资源占用权重与每一组任务类型特征数据中各资源维度对应的资源相关性权重，按照相同资源维度运算处理，获得所述目标待分类节点与所述多种任务类型的适配度；
7、根据所述目标待分类节点与所述多种任务类型的适配度的数值大小，配置所述目标待分类节点的节点类别。
8、可选地，如上所述的方法，所述根据集群在多个资源维度的特征和所述集群中目标待分类节点在所述多个资源维度的特征，获取所述目标待分类节点的资源占用指标数据，包括：
9、获取所述目标待分类节点与所述集群在同一资源维度的特征的比值；
10、对获取到的多个资源维度的特征的比值进行归一化处理，得到多个资源占用权重。
11、可选地，如上所述的方法，对于所述多种任务类型中的目标任务类型，根据所述目标待分类节点面向于目标任务类型的任务运行数据，获取所述目标待分类节点对应于所述目标任务类型的一组任务类型特征数据，包括：
12、根据所述目标待分类节点分别运行目标任务类型的多个任务的运行数据，获取多个相关系数组；一个相关系数组对应一个任务，一个相关系数组包括与所述多个资源维度一一对应的多个相关系数，所述相关系数表征所述目标待分类节点运行该任务时所述相关系数所对应的资源维度对运行时间的影响；
13、对所述多个相关系数组中相同资源维度对应的相关系数求均值，得到所述目标待分类节点对应于所述目标任务类型的一组任务类型特征数据。
14、可选地，如上所述的方法，所述方法还包括：
15、根据所述目标待分类节点在所述多个资源维度的特征和运行目标任务在所述多个资源维度分别所需的最小资源值，为所述目标任务随机生成初始任务资源配置信息；所述初始任务资源配置信息包括所述多个资源维度的资源配置值，所述资源配置值大于或等于相应资源维度所需的最小资源值；所述目标任务为所述多个任务之一；
16、根据所述初始任务资源配置信息在所述目标待分类节点内为所述目标任务生成任务容器；
17、通过所述任务容器运行所述目标任务。
18、可选地，如上所述的方法，根据所述目标待分类节点运行所述目标任务的运行数据，获取与所述目标任务对应的相关系数组，包括：
19、从所述任务容器运行所述目标任务的运行数据中，提取第一时间信息和获得所述目标任务的运行结果时所述任务容器在所述多个资源维度分别对应的资源变化结果值；所述第一时间信息为从所述任务容器开始运行所述目标任务直至获得所述目标任务的运行结果的时长；
20、根据所述任务容器在所述多个资源维度分别对应的资源变化结果值，以及所述多个资源维度的资源配置信息，获得所述多个资源维度的特征变化率；
21、基于所述多个资源维度分别对应的资源变化结果值和所述初始任务资源配置信息，为所述目标任务重新生成与所述多个资源维度一一对应的多组新的任务资源配置信息；所述新的任务资源配置信息中，所对应的资源维度的资源配置值为所述任务容器运行所述目标任务的运行数据中相应资源维度对应的资源变化结果值；所述新的任务资源配置信息中，非对应的资源维度的资源配置值与所述初始任务资源配置信息中相同资源维度的资源配置值一致；
22、分别应用所述多组新的任务资源配置信息运行所述目标任务，得到与所述多个资源维度分别一一对应的多个第二时间信息；所述第二时间信息为应用对应资源维度的一组新的任务资源配置信息，从开始运行所述目标任务直至获得所述目标任务的运行结果的时长；
23、基于所述第一时间信息和与所述多个第二时间信息，获得所述多个资源维度分别对应的运行时间变化率；
24、将所述多个资源维度的特征变化率和所述多个资源维度分别对应的运行时间变化率按照相同资源维度运算处理，获得与所述多个资源维度一一对应的多个相关系数，形成与所述目标任务对应的相关系数组。
25、可选地，如上所述的方法，所述资源占用本文档来自技高网...
【技术保护点】
1.一种集群节点分类方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据集群在多个资源维度的特征和所述集群中目标待分类节点在所述多个资源维度的特征，获取所述目标待分类节点的资源占用指标数据，包括：
3.根据权利要求1所述的方法，其特征在于，对于所述多种任务类型中的目标任务类型，根据所述目标待分类节点面向于目标任务类型的任务运行数据，获取所述目标待分类节点对应于所述目标任务类型的一组任务类型特征数据，包括：
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，根据所述目标待分类节点运行所述目标任务的运行数据，获取与所述目标任务对应的相关系数组，包括：
6.根据权利要求1所述的方法，其特征在于，所述资源占用指标数据被配置为通过第一向量表示，多组任务类型特征数据被配置为通过多个第二向量表示；所述第一向量和所述第二向量中，同一元素位置代表同一种资源维度；
7.根据权利要求1所述的方法，其特征在于，所述根据所述目标待分类节点与所述多种任务类型的适
8.根据权利要求1所述的方法，其特征在于，在所述配置所述目标待分类节点的节点类别之前，所述方法还包括：
9.一种集群节点分类装置，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至8任一项所述的方法。
11.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至8中任意一项所述的方法。
...【技术特征摘要】
1.一种集群节点分类方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据集群在多个资源维度的特征和所述集群中目标待分类节点在所述多个资源维度的特征，获取所述目标待分类节点的资源占用指标数据，包括：
3.根据权利要求1所述的方法，其特征在于，对于所述多种任务类型中的目标任务类型，根据所述目标待分类节点面向于目标任务类型的任务运行数据，获取所述目标待分类节点对应于所述目标任务类型的一组任务类型特征数据，包括：
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，根据所述目标待分类节点运行所述目标任务的运行数据，获取与所述目标任务对应的相关系数组，包括：
6.根据权利要求1所述的方法，其特征在于，所述资源占用指标数据被配置为通过...
【专利技术属性】
技术研发人员：何光宇，牟童，徐石成，
申请(专利权)人：东软集团股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。