【技术实现步骤摘要】
本专利技术涉及舰船系统测试技术，尤其涉及一种基于测试床的智能化能力测试装置。
技术介绍
1、在机器学习、深度学习等技术大量应用于舰船系统感知、决策等功能实现的背景下，传统基于功能的测试装置和测试手段已难以有效覆盖智能系统与技术的新特征，系统智能应用模块的测试难的问题逐渐凸显。新的智能系统实际使用效能与原有智能系统的使用效果相比是否有提升有待评估验证。目前针对人工智能的测试方法大多是采用人工运行模型或应用，对模型或应用的结果进行分析和指标计算，从而评估智能模型或应用的智能化能力。这样会导致测试环境条件不一致，且测试效率低，存在人工干扰问题，使得测试结果缺乏统一性和可信性。因此针对人工智能的测试目前缺少一个统一的测试环境，缺乏有效的测试装置或者测试平台，缺少自动化测试方法。
技术实现思路
1、本专利技术要解决的技术问题在于针对现有技术中的缺陷，提供一种基于测试床的智能化能力测试装置。
2、本专利技术解决其技术问题所采用的技术方案是：一种基于测试床的智能化能力测试装置，包括：
3、测试支撑服务器，用于提供智能系统模型运行和应用运行的计算资源和存储资源，提供所需的基础运行环境；
4、待测试应用容器云模块，用于对服务器资源统一管理调度，可分配资源给模型和应用运行使用；
5、所述待测试应用容器云模块采用微服务架构，采用docker容器虚拟化与kubernetes容器管理相结合的技术，为容器化的测试应用提供部署运行、服务发现和动态伸缩在内的完整功能
6、测试集成框架模块，用于功能组件在框架上集成，负责完成功能组件与平台功能组件之间的接口对接、数据的输入和输出，包括推理结果数据、应用运行结果数据的输入和评估结果的输出；
7、所述功能组件包括测试数据管理模块、应用管理模块、应用测试管理模块、仿真管理模块、模型管理模块、模型包仓库和模型测试管理模块；平台功能组件包括：评估服务模块、测试任务管理模块、测试结果管理模块和测试可视化服务模块；
8、所述功能组件包括测试数据管理模块、应用管理模块、应用测试管理模块、仿真管理模块、模型管理模块、模型包仓库和模型测试管理模块；
9、其中，测试数据管理模块，用于对模型测试包中的测试数据集和真值数据进行管理，提供测试数据集详情、对抗测试数据生成和测试数据标注；
10、测试数据管理模块对模型测试包中的测试数据集和真值数据进行管理，提供测试数据集详情查看、对抗测试数据生成和测试数据标注等功能。测试数据集信息包括数据集名称、数据集导入时间、数据集描述、数据集版本等内容。测试数据管理提供对抗攻击测试数据生成，可用于模型安全性测试，评估模型的可靠性。测试数据标注对生成的对抗攻击测试数据进行在线标注，形成对应的真值数据。
11、应用管理模块，用于智能化应用信息的登记、修改、删除，提供应用信息接口以实现应用信息导入，智能化应用信息主要包括应用名称、版本、描述信息、dds主题；
12、应用测试管理模块，在智能应用全周期自动化测试时，与基础设施平台进行接口连接实现应用虚拟机和应用启动，与应用进行dds主题订阅，实现应用运行结果收集；
13、仿真管理模块，用于通过dds接口驱动仿真器服务发送仿真测试数据给智能化应用，给智能化应用提供图像、视频、声频、射频、态势等不同类别的测试数据，促使应用全周期自动化测试验证的开展，并提供仿真管理可视化界面；
14、模型管理模块，用于提供模型测试包格式规范，实现模型测试包导入；
15、模型包仓库，用于提供模型包导入、模型包生成、模型管理、测试数据管理；
16、模型测试管理模块，用于在智能模型评估测试时，启动模型容器，与模型容器内的测试代码服务连接，实现对模型推理结果收集；
17、评估服务模块，用于通过数据采集将模型推理结果、应用运行结果和方案结果存储，然后会依据评估指标体系和评估方法，完成评估指标计算服务，利用评估指标计算服务对上述结果数据进行分析、量化，得出指标数据，形成任务总结报告，支撑复盘和检视模型/应用任务执行的效果；
18、依据评估体系和评估方法，评估计算服务采用微服务的组织形式，支持每一个评估指标的计算。在算法方面，支持深度学习模型的算法能力评估，重点对参评应用所使用的算法模型的性能指标(准确率、精确率、召回率等)进行计算评估；在应用方面，支持智能化应用的效能评估，如视频图像、态势推演等。结合具体使用领域和个性化特点，评估服务支持集成智能化应用的考核指标计算服务。
19、测试任务管理模块，用于实现全周期验证测试任务创建，支持任务状态查询，支持任务停止、终止等操作，提供任务仓库以支持对任务的管理，包括任务详情查询、删除等操作，支持任务报告生成、任务报告下载和任务报告在线预览。
20、任务仓库中的任务以列表形式展现，提供对已创建的任务进行管理。可对已完成或已停止任务进行删除、查看结果等功能。任务的详细信息可包括为任务名称、任务描述、任务状态、创建时间、可用的操作，如删除，查看结果、报告下载等。
21、任务创建通过模板仓库选择合适的模板进行验证任务创建，并支持对任务进行控制，可支持任务终止、任务删除等操作。任务状态查询支持实时查看任务运行状态以及运行所处阶段，还支持各阶段的输出日志查看。任务状态控制提供对运行中的任务控制，支持停止、终止等操作。任务停止将对任务进行暂停操作；任务终止将对任务进行终止运行操作。
22、测试结果管理模块，用于为智能化性能测试提供统一的模型/应用运行结果数据存储、查询；
23、测试结果管理模块为智能化性能测试提供统一的模型/应用运行结果数据存储、查询等功能，支持模型推理结果数据存储，支持运行结果数据存储，提供推理结果、运行结果、方案数据下载能力。支持模型评估结果、应用评估结果、推演评估结果等数据存储，并提供各种评估结果下载能力。通过可视化技术，测试结果模块实现算法层、应用层、链路层评估流程中推理结果、运行结果、方案数据、模型评估结果、应用评估结果、方案并行推演评估结果等的数据进行统一管理和展示。
24、测试可视化服务模块，用于提供智能模型/应用智能化能力评估过程和评估结果可视化呈现功能；
25、测试可视化服务模块提供智能系统测试可视化能力，特别是智能模型/应用智能化能力评估过程和评估结果可视化呈现功能。根据评估输出数据形式和模型/应用特征的差异性，呈现不同的评估指标数据可视化形式。评估过程可视化包括对评估流程当前运行阶段、本文档来自技高网...
【技术保护点】
1.一种基于测试床的智能化能力测试装置，其特征在于，包括：
2.根据权利要求1所述的基于测试床的智能化能力测试装置，其特征在于，所述评估服务模块采用微服务的组织形式，依据评估体系和评估方法支持每一个评估指标的计算；评估服务模块支持深度学习模型的算法能力评估，对参评应用所使用的算法模型的性能指标进行计算评估；还支持智能化应用的效能评估，包括视频图像、态势推演，并结合具体使用领域和个性化特点，评估服务模块支持集成智能化应用的考核指标计算服务。
【技术特征摘要】
1.一种基于测试床的智能化能力测试装置，其特征在于，包括：
2.根据权利要求1所述的基于测试床的智能化能力测试装置，其特征在于，所述评估服务模块采用微服务的组织形式，依据评估体系和评估方法支持每一个评估指标的计算；评...
【专利技术属性】
技术研发人员：张雨萌，胡朋，王欣，黄蔚，乐天，
申请(专利权)人：中国舰船研究设计中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。