System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本公开涉及硬件领域,具体地,涉及一种异构硬件推荐方法、装置、介质及电子设备。
技术介绍
1、随着人工智能大模型的兴起,对异构硬件计算资源的需求大量增长,且提出了更多的要求。目前,对于硬件能力的评估,通常仅基于单一的评估维度,例如,仅基于硬件的标称性能进行硬件能力的评估,这往往无法准确反映硬件在实际应用的真实表现,使得硬件在实际的应用中与期望的表现不符,易导致诸多问题。
技术实现思路
1、本公开的目的是提供一种异构硬件推荐方法、装置、介质及电子设备。
2、为了实现上述目的,根据本公开的第一方面,提供一种异构硬件推荐方法,所述方法包括:
3、接收硬件需求信息;
4、针对每一候选异构硬件,确定所述候选异构硬件在多个预设评分维度各自对应的目标评分,所述预设评分维度包括硬件能力维度、推理性能维度、训练性能维度和生态支持维度;
5、根据所述硬件需求信息,在所述预设评分维度中确定目标评分维度;
6、根据所述候选异构硬件在所述目标评分维度对应的目标评分,在多个所述候选异构硬件中确定待推荐的至少一个第一目标异构硬件,并输出所述第一目标异构硬件的硬件信息。
7、可选地,所述硬件能力维度对应有至少一个硬件能力指标;
8、所述候选异构硬件在所述硬件能力维度对应的目标评分通过以下方式确定:
9、针对每一硬件能力指标,根据所述硬件能力指标对应的测试工具,确定所述候选异构硬件对应于所述硬件能力指标的第一指标值;
>10、获取参考硬件对应于每一所述硬件能力指标的参考指标值;
11、针对每一硬件能力指标,根据所述候选异构硬件对应于所述硬件能力指标的第一指标值相比于所述硬件能力指标的参考指标值的差距,确定所述候选异构硬件对应于所述硬件能力指标的指标评分;
12、根据所述候选异构硬件对应于每一硬件能力指标的指标评分,以及每一硬件能力指标各自对应的评分权重,确定所述候选异构硬件对应于所述硬件能力维度的目标评分。
13、可选地,所述推理性能维度对应有至少一个推理性能指标;
14、所述候选异构硬件在所述推理性能维度对应的目标评分通过以下方式确定:
15、确定第一测试模型;
16、通过将所述第一测试模型部署到所述候选异构硬件上运行,利用所述第一测试模型对所述候选异构硬件进行推理性能测试,得到所述候选异构硬件对应于所述推理性能指标的第二指标值;
17、根据所述候选异构硬件对应于所述推理性能指标的第二指标值,确定所述候选异构硬件对应于每一推理性能指标的指标评分;
18、根据所述候选异构硬件对应于每一推理性能指标的指标评分,以及每一推理性能指标各自对应的评分权重,确定所述候选异构硬件对应于所述推理性能维度的目标评分。
19、可选地,所述训练性能维度对应有至少一个训练性能指标;
20、所述候选异构硬件在所述训练性能维度对应的目标评分通过以下方式确定:
21、确定第二测试模型;
22、通过将所述第二测试模型部署到所述候选异构硬件上运行,利用所述第二测试模型对所述候选异构硬件进行训练性能测试,得到所述候选异构硬件对应于所述训练性能指标的第三指标值;
23、在所述候选异构硬件支持多机扩展的情况下,通过将所述第二测试模型部署到由多个所述候选异构硬件构成的异构硬件集群上运行,利用所述第二测试模型对所述候选异构硬件进行训练性能测试,得到所述候选异构硬件对应于所述训练性能指标的第四指标值;
24、根据所述候选异构硬件对应于所述训练性能指标的第三指标值和第四指标值,确定所述候选异构硬件对应于每一训练性能指标的指标评分;
25、根据所述候选异构硬件对应于每一训练性能指标的指标评分,以及每一训练性能指标各自对应的评分权重,确定所述候选异构硬件在所述训练性能维度对应的目标评分。
26、可选地,所述候选异构硬件在所述生态支持维度对应的目标评分通过以下方式确定:
27、获取所述候选异构硬件的生态支持信息,所述生态支持信息包括所述候选异构硬件所支持的算子和软件栈;
28、根据所述硬件需求信息,确定基础算子、核心算子和目标软件栈信息;
29、根据所述候选异构硬件所支持的算子与所述基础算子的重合情况,确定所述候选异构硬件对应的第一评分;
30、根据所述候选异构硬件所支持的算子与所述核心算子的重合情况,确定所述候选异构硬件对应的第二评分;
31、根据所述候选异构硬件所支持的软件栈与所述目标软件栈信息的重合情况,确定所述候选异构硬件对应的第三评分;
32、根据所述第一评分、所述第二评分和所述第三评分,确定所述候选异构硬件在所述生态支持维度对应的目标评分。
33、可选地,所述第一目标异构硬件的硬件信息包括所述第一目标异构硬件的计算资源利用信息和/或集群扩展性能信息;
34、所述计算资源利用信息包括计算资源的实际利用率和计算资源的标称信息;
35、所述集群扩展性能信息用于表征所述第一目标异构硬件的性能随硬件集群规模变化的变化情况。
36、可选地,所述第一目标异构硬件的集群扩展性能信息通过以下方式确定:
37、获取所述第一目标异构硬件在历史使用过程中在不同规模的硬件集群中的历史性能信息,其中,不同规模的硬件集群所包含的第一目标异构硬件的数量不同;
38、将所述硬件集群中第一目标异构硬件的数量作为模型的输入,并将所述历史性能信息作为模型的目标输出的方式,对机器学习模型进行训练,得到训练完成的性能预测模型;
39、确定多个目标数量,所述目标数量为所述第一目标异构硬件在进行集群扩展时所需的硬件数量;
40、分别将每一所述目标数量输入至所述性能预测模型,得到所述性能预测模型输出的目标性能信息;
41、将所述目标数量和所述目标数量对应的目标性能信息确定为所述集群扩展性能信息。
42、可选地,所述方法还包括:
43、根据所述候选异构硬件在所述硬件能力维度对应的目标评分、所述候选异构硬件在所述推理性能维度对应的目标评分、所述候选异构硬件在所述训练性能维度对应的目标评分、所述候选异构硬件在所述生态支持维度对应的目标评分,确定所述候选异构硬件的多维度综合评分;
44、根据所述候选异构硬件的多维度综合评分,在多个所述候选异构硬件中确定待推荐的至少一个第二目标异构硬件,并输出所述第二目标异构硬件的硬件信息。
45、根据本公开的第二方面,提供一种异构硬件推荐装置,所述装置包括:
46、接收模块,用于接收硬件需求信息;
47、第一确定模块,用于针对每一候选异构硬件,确定所述候选异构硬件在多个预设评分维度各自对应的目标评分,所述预设评分维度包括硬件能力维度、推理性能维度、训练性能维度和生态支本文档来自技高网...
【技术保护点】
1.一种异构硬件推荐方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述硬件能力维度对应有至少一个硬件能力指标;
3.根据权利要求1所述的方法,其特征在于,所述推理性能维度对应有至少一个推理性能指标;
4.根据权利要求1所述的方法,其特征在于,所述训练性能维度对应有至少一个训练性能指标;
5.根据权利要求1所述的方法,其特征在于,所述候选异构硬件在所述生态支持维度对应的目标评分通过以下方式确定:
6.根据权利要求1所述的方法,其特征在于,所述第一目标异构硬件的硬件信息包括所述第一目标异构硬件的计算资源利用信息和/或集群扩展性能信息;
7.根据权利要求6所述的方法,其特征在于,所述第一目标异构硬件的集群扩展性能信息通过以下方式确定:
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
9.一种异构硬件推荐装置,其特征在于,所述装置包括:
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-8中
11.一种电子设备,其特征在于,包括:
...【技术特征摘要】
1.一种异构硬件推荐方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述硬件能力维度对应有至少一个硬件能力指标;
3.根据权利要求1所述的方法,其特征在于,所述推理性能维度对应有至少一个推理性能指标;
4.根据权利要求1所述的方法,其特征在于,所述训练性能维度对应有至少一个训练性能指标;
5.根据权利要求1所述的方法,其特征在于,所述候选异构硬件在所述生态支持维度对应的目标评分通过以下方式确定:
6.根据权利要求1所述的方法,其特征在于,所述...
【专利技术属性】
技术研发人员:请求不公布姓名,请求不公布姓名,请求不公布姓名,请求不公布姓名,请求不公布姓名,
申请(专利权)人:北京电子数智科技有限责任公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。