网络异构计算平台测试方法、装置和计算机设备制造方法及图纸

本申请涉及一种网络异构计算平台测试方法、装置、计算机设备和存储介质。所述方法包括：获取网络异构计算平台的所有测试指标及每一测试指标包含的所有子测试指标；所有测试指标包括资源利用和并行调度能力、智能计算框架和部件支持能力、智能数据和服务管理支撑能力、数据和模型隐私保护能力、智能算法并行优化能力及通用智能服务能力；获取每一测试指标包含的每一子测试指标对应的评价分数；对每一测试指标包含的每一子测试指标对应的评价分数进行加权求和，得到每一测试指标对应的评价分数。由于从六个维度对网络异构计算平台进行测试验证，实现对网络异构计算平台全面的测试，从而提高网络异构计算平台的测试结果的精确性。确性。确性。

【技术实现步骤摘要】
网络异构计算平台测试方法、装置和计算机设备


[0001]本申请涉及网络异构计算平台
，特别是涉及一种网络异构计算平台测试方法、装置、计算机设备和存储介质。

技术介绍

[0002]随着机器学习、人工智能和工业仿真等技术快速发展，面对计算类型多元化和计算量指数增长等需求，网络异构计算平台成为大规模数据中心算力搭建的首选方案。从20世纪80年代以来，异构计算经历了CPU+GPU、FPGA等多种路线之争。随着虚拟化，新一代网络技术的发展，以光纤网和以太网为数据交换方式的分布式网络异构计算平台异军突起，成为物联网、区块链、人工智能相关应用的重要基础支撑。
[0003]为了提高网络异构计算平台的计算效率，通常在网络异构计算平台实际应用部署前，会对网络异构计算平台进行测试验证。相关技术中，从网络异构计算平台的计算性能、网络性能及算法优化三个方面的其中任一方面实现对网络异构计算平台的测试验证。但是只从单一方面对网络异构计算平台进行测试验证，具有一定的局限性和专用性，存在网络异构计算平台的测试结果不精确的问题。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提高网络异构计算平台的测试结果精确性的网络异构计算平台测试方法、装置、计算机设备和计算机可读存储介质。
[0005]第一方面，本申请提供了一种网络异构计算平台测试方法。所述方法包括：
[0006]获取网络异构计算平台的所有测试指标及每一测试指标包含的所有子测试指标；所有测试指标包括资源利用和并行调度能力、智能计算框架和部件支持能力、智能数据和服务管理支撑能力、数据和模型隐私保护能力、智能算法并行优化能力及通用智能服务能力；资源利用和并行调度能力包含的所有子测试指标包括异构资源融合调度能力及任务集群自动扩展能力；智能计算框架和部件支持能力包含的所有子测试指标包括预设框架的支持能力及异构资源支持能力；智能数据和服务管理支撑能力包含的所有子测试指标包括多模式数据预标注能力、数据管理能力及交互式智能建模能力；数据和模型隐私保护能力包含的所有子测试指标包括模型数据隐私保护能力、用户数据隐私保护能力及隐私保护数据聚合能力；智能算法并行优化能力包含的所有子测试指标包括智能算法库适配能力、智能算法并行优化效率、深度学习训练效率提升能力及深度学习训练效果提升能力；通用智能服务能力包含的所有子测试指标包括智能语音交互能力、视觉目标识别能力及自然语言处理能力；
[0007]获取每一测试指标包含的每一子测试指标对应的评价分数；
[0008]对每一测试指标包含的每一子测试指标对应的评价分数进行加权求和，得到每一测试指标对应的评价分数。
[0009]在其中一个实施例中，获取每一测试指标包含的每一子测试指标对应的评价分
数，包括：
[0010]分别获取计算任务在通过网络异构计算平台的资源管理系统调度时的第一调度时长以及计算任务在未通过资源管理系统调度时的第二调度时长，计算第二调度时长与第一调度时长之间的第一比值，获取1与第一比值之间的第一差值，根据第一差值，确定异构资源融合调度能力对应的评价分数；
[0011]确定网络异构计算平台在接收到第一预设数量的计算测试请求时基于水平扩展部署策略所部署的计算资源总数，确定计算资源总数的第一倒数；计算自然常数的负第一倒数次方的第一次幂，根据第一次幂，确定任务集群自动扩展能力对应的评价分数，第一预设数量大于水平扩展部署策略的触发阈值。
[0012]在其中一个实施例中，获取每一测试指标包含的每一子测试指标对应的评价分数，包括：
[0013]获取所有深度学习框架的总数量与网络异构计算平台所支持的深度学习框架的总数量之间的第二比值；根据第二比值的第二倒数，确定预设框架的支持能力对应的评价分数；
[0014]获取所有异构计算资源的总数量与网络异构计算平台所支持的异构计算资源的总数量之间的第三比值；根据第三比值的第三倒数，确定异构资源支持能力对应的评价分数。
[0015]在其中一个实施例中，获取每一测试指标包含的每一子测试指标对应的评价分数，包括：
[0016]获取对网络异构计算平台的测试数据预标注的准确率，并作为多模式数据预标注能力对应的评价分数；预标注是指对测试数据的属性进行标注；
[0017]获取网络异构计算平台支持管理的数据实体的最大数量，管理项包括数据实体存储、数据实体处理及数据实体应用；确定最大数量的第四倒数；计算自然常数的负第四倒数次方的第二次幂，将第二次幂作为数据管理能力对应的评价分数；
[0018]获取第二预设数量个用户中每一用户对网络异构计算平台的交互式智能应用的评分；每一用户对交互式智能应用的评分的取值范围均为0至1；获取每一用户对交互式智能应用的评分与第二预设数量之间的第四比值，对每一第四比值进行叠加，得到第一求和结果；将第一求和结果作为交互式智能建模能力对应的评价分数。
[0019]在其中一个实施例中，获取每一测试指标包含的每一子测试指标对应的评价分数，包括：
[0020]获取网络异构计算平台每次对百兆数据的加密时长与1之间的第二求和结果；确定每一第二求和结果的第五倒数，将每一第五倒数进行叠加，得到第三求和结果；获取网络异构计算平台每次对百兆数据的解密时长与1之间的第四求和结果；确定每一第四求和结果的第六倒数，将每一第六倒数进行叠加，得到第五求和结果；其中，加密过程的次数与解密过程的次数均为第三预设数量次；
[0021]获取第三求和结果与第五求和结果之间的第六求和结果，获取第六求和结果与两倍第三预设数量之间的第五比值，将第五比值作为模型数据隐私保护能力对应的评价分数；
[0022]获取网络异构计算平台中支持同态加密的用户数据所依赖的算法种类总数量，获
取所有同态加密的用户数据所依赖的算法种类总数量与网络异构计算平台中支持同态加密的用户数据所依赖的算法种类总数量之间的第六比值，将第六比值的第七倒数作为用户数据隐私保护能力对应的评价分数；
[0023]获取网络异构计算平台聚合训练的精确度与网络异构计算平台集中式训练的精确度之间的第二差值，计算第二差值与聚合训练的精确度之间的第七比值，将第七比值作为隐私保护数据聚合能力对应的评价分数。
[0024]在其中一个实施例中，获取每一测试指标包含的每一子测试指标对应的评价分数，包括：
[0025]获取所有机器学习算法库的总数量与网络异构计算平台所支持的机器学习算法库的总数量之间的第八比值，将第八比值的第八倒数作为智能算法库适配能力对应的评价分数；
[0026]获取网络异构计算平台的预设算法在单个计算节点上的运行时长，获取预设算法在第四预设数量个计算节点上的运行总时长；计算运行总时长与第四预设数量之间的乘积；计算运行时长与乘积之间的第九比值，将第九比值作为智能算法并行优化效率对应的评价分数；
[0027]获取网络异构计算平台的预设模型被检测时的第一检测时长与优化模型被检测时的第二检测时长，优化模型是对预设模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网络异构计算平台测试方法，其特征在于，所述方法包括：获取网络异构计算平台的所有测试指标及每一测试指标包含的所有子测试指标；所述所有测试指标包括资源利用和并行调度能力、智能计算框架和部件支持能力、智能数据和服务管理支撑能力、数据和模型隐私保护能力、智能算法并行优化能力及通用智能服务能力；所述资源利用和并行调度能力包含的所有子测试指标包括异构资源融合调度能力及任务集群自动扩展能力；所述智能计算框架和部件支持能力包含的所有子测试指标包括预设框架的支持能力及异构资源支持能力；所述智能数据和服务管理支撑能力包含的所有子测试指标包括多模式数据预标注能力、数据管理能力及交互式智能建模能力；所述数据和模型隐私保护能力包含的所有子测试指标包括模型数据隐私保护能力、用户数据隐私保护能力及隐私保护数据聚合能力；所述智能算法并行优化能力包含的所有子测试指标包括智能算法库适配能力、智能算法并行优化效率、深度学习训练效率提升能力及深度学习训练效果提升能力；所述通用智能服务能力包含的所有子测试指标包括智能语音交互能力、视觉目标识别能力及自然语言处理能力；获取每一测试指标包含的每一子测试指标对应的评价分数；对每一测试指标包含的每一子测试指标对应的评价分数进行加权求和，得到每一测试指标对应的评价分数。2.根据权利要求1所述的方法，其特征在于，所述获取每一测试指标包含的每一子测试指标对应的评价分数，包括：分别获取计算任务在通过所述网络异构计算平台的资源管理系统调度时的第一调度时长以及所述计算任务在未通过所述资源管理系统调度时的第二调度时长，计算所述第二调度时长与所述第一调度时长之间的第一比值，获取1与所述第一比值之间的第一差值，根据所述第一差值，确定所述异构资源融合调度能力对应的评价分数；确定所述网络异构计算平台在接收到第一预设数量的计算测试请求时基于水平扩展部署策略所部署的计算资源总数，确定所述计算资源总数的第一倒数；计算自然常数的负所述第一倒数次方的第一次幂，根据所述第一次幂，确定所述任务集群自动扩展能力对应的评价分数，所述第一预设数量大于所述水平扩展部署策略的触发阈值。3.根据权利要求1所述的方法，其特征在于，所述获取每一测试指标包含的每一子测试指标对应的评价分数，包括：获取所有深度学习框架的总数量与所述网络异构计算平台所支持的深度学习框架的总数量之间的第二比值；根据所述第二比值的第二倒数，确定所述预设框架的支持能力对应的评价分数；获取所有异构计算资源的总数量与所述网络异构计算平台所支持的异构计算资源的总数量之间的第三比值；根据所述第三比值的第三倒数，确定所述异构资源支持能力对应的评价分数。4.根据权利要求1所述的方法，其特征在于，所述获取每一测试指标包含的每一子测试指标对应的评价分数，包括：获取对所述网络异构计算平台的测试数据预标注的准确率，并作为所述多模式数据预标注能力对应的评价分数；所述预标注是指对所述测试数据的属性进行标注；获取所述网络异构计算平台支持管理的数据实体的最大数量，管理项包括数据实体存
储、数据实体处理及数据实体应用；确定所述最大数量的第四倒数；计算所述自然常数的负所述第四倒数次方的第二次幂，将所述第二次幂作为所述数据管理能力对应的评价分数；获取第二预设数量个用户中每一用户对所述网络异构计算平台的交互式智能应用的评分；每一用户对所述交互式智能应用的评分的取值范围均为0至1；获取每一用户对所述交互式智能应用的评分与所述第二预设数量之间的第四比值，对每一第四比值进行叠加，得到第一求和结果；将所述第一求和结果作为所述交互式智能建模能力对应的评价分数。5.根据权利要求1所述的方法，其特征在于，所述获取每一测试指标包含的每一子测试指标对应的评价分数，包括：获取所述网络异构计算平台每次对百兆数据的加密时长与1之间的第二求和结果；确定每一第二求和结果的第五倒数，将每一第五倒数进行叠加，得到第三求和结果；获取所述网络异构计算平台每次对百兆数据的解密时长与1之间的第四求和结果；确定每一第四求和结果的第六倒数，将每一第六倒数进行叠加，得到第五求和结果；其中，加密过程的次数与解密过程的次数均为第三预设数量次；获取所述第三求和结果与所述第五求和结果之间的第六求和结果，获取所述第六求和结果与两倍所述第三预设数量之间的第五比值，将所述第五比值作为所述模型数据隐私保护能力对应的评价分数；获取所述网络异构计算平台中支持同态加密的用户数据所依赖的算法种类总数...

【专利技术属性】
技术研发人员：高岩，杨亚楠，王强，虞飞，
申请(专利权)人：中国电子产品可靠性与环境试验研究所工业和信息化部电子第五研究所中国赛宝实验室，
类型：发明
国别省市：