视觉算法模型的测试方法、系统、电子设备及存储介质技术方案

本申请实施例提供了一种视觉算法模型的测试方法、系统、电子设备及存储介质，其中方法包括：接收用户导入的测试数据，通过标注工具对测试数据进行标注处理；将标注信息与测试数据对应存入数据库；从数据库中选择待测视觉算法模型所需的数据，根据选择的数据构建数据集；调用待测视觉算法模型，通过待测视觉算法模型对数据集进行处理，得到模型预测结果；确定待测视觉算法模型对应的性能指标类型，根据性能指标类型对模型预测结果进行评估处理，得到测试评估结果。这样，视觉算法模型的测试交付周期有效缩短，解放测试工程师人力，提高测试效率，可快速实现视觉算法模型在不同算力、不同系统平台的测试。不同系统平台的测试。不同系统平台的测试。

【技术实现步骤摘要】
视觉算法模型的测试方法、系统、电子设备及存储介质


[0001]本申请涉及计算机
，尤其涉及一种视觉算法模型的测试方法、系统、电子设备及存储介质。

技术介绍

[0002]现有技术中，视觉算法模型的测试过程一般包括五个步骤，分别是第一步：测试数据集采集；第二步：数据处理；第三步：模型调试；第四步骤：模型评估；第五步：结果分析。前述五个步骤是手工测试和半自动化测试相结合，操作复杂，测试效率低。

技术实现思路

[0003]为了解决上述技术问题，本申请实施例提供了一种视觉算法模型的测试方法、系统、电子设备及存储介质。
[0004]第一方面，本申请实施例提供了一种视觉算法模型的测试方法，所述方法包括：
[0005]接收用户导入的测试数据，通过标注工具对所述测试数据进行标注处理，得到标注信息；
[0006]将所述标注信息与所述测试数据对应存入数据库；
[0007]从所述数据库中选择待测视觉算法模型所需的数据，根据选择的数据构建数据集；
[0008]调用所述待测视觉算法模型，向所述待测视觉算法模型输入所述数据集，通过所述待测视觉算法模型对所述数据集进行处理，得到模型预测结果；
[0009]确定所述待测视觉算法模型对应的性能指标类型，根据所述性能指标类型对所述模型预测结果进行评估处理，得到测试评估结果。
[0010]在一实施方式中，所述根据选择的数据构建数据集，包括：
[0011]对选择的数据进行标准化处理，得到标准化数据；
[0012]将所述标准化数据组成所述数据集。
[0013]在一实施方式中，所述调用所述待测视觉算法模型，包括：
[0014]根据基础测试环境获取与所述待测视觉算法模型匹配的扩展测试环境；
[0015]在所述扩展测试环境下调用所述待测视觉算法模型。
[0016]在一实施方式中，所述基础测试环境由Docker镜像文件构建得到，所述根据基础测试环境获取与所述待测视觉算法模型匹配的扩展测试环境，包括：
[0017]向所述Docker镜像文件中注入所述待测视觉算法模型对应的环境依赖信息，得到扩展镜像文件；
[0018]根据所述扩展镜像文件构建所述扩展测试环境。
[0019]在一实施方式中，所述方法还包括：
[0020]获取所述测试数据的关键信息，对所述关键信息进行持久化处理。
[0021]在一实施方式中，所述通过所述待测视觉算法模型对所述数据集进行处理，包括：
[0022]通过所述待测视觉算法模型基于所述数据集生成多个异步任务，通过分布式系统对多个所述异步任务执行对应的异步任务调度；
[0023]通过消息中间件根据所述异步任务调度执行各所述异步任务。
[0024]在一实施方式中，所述方法还包括：
[0025]创建多个硬件平台虚拟机；
[0026]为各所述硬件平台虚拟机设置对应视觉算法模型的运行环境参数。
[0027]第二方面，本申请实施例提供了一种视觉算法模型的测试系统，所述系统包括：
[0028]标注模块，用于接收用户导入的测试数据，通过标注工具对所述测试数据进行标注处理，得到标注信息；
[0029]存入模块，用于将所述标注信息与所述测试数据对应存入数据库；
[0030]构建模块，用于从所述数据库中选择待测视觉算法模型所需的数据，根据选择的数据构建数据集；
[0031]第一处理模块，用于调用所述待测视觉算法模型，向所述待测视觉算法模型输入所述数据集，通过所述待测视觉算法模型对所述数据集进行处理，得到模型预测结果；
[0032]第二处理模块，用于确定所述待测视觉算法模型对应的性能指标类型，根据所述性能指标类型对所述模型预测结果进行评估处理，得到测试评估结果。
[0033]第三方面，本申请实施例提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述计算机程序在所述处理器运行时执行第一方面提供的视觉算法模型的测试方法。
[0034]第四方面，本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行第一方面提供的视觉算法模型的测试方法。
[0035]上述本申请提供的视觉算法模型的测试方法、系统、电子设备及存储介质，接收用户导入的测试数据，通过标注工具对所述测试数据进行标注处理，得到标注信息；将所述标注信息与所述测试数据对应存入数据库；从所述数据库中选择待测视觉算法模型所需的数据，根据选择的数据构建数据集；调用所述待测视觉算法模型，向所述待测视觉算法模型输入所述数据集，通过所述待测视觉算法模型对所述数据集进行处理，得到模型预测结果；确定所述待测视觉算法模型对应的性能指标类型，根据所述性能指标类型对所述模型预测结果进行评估处理，得到测试评估结果。这样，视觉算法模型的测试交付周期有效缩短，解放测试工程师人力，提高测试效率，视觉算法模型的测试数据持续沉淀，利于算法持续优化，可快速实现视觉算法模型在不同算力、不同系统平台的测试。
附图说明
[0036]为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对本申请保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。
[0037]图1示出了本申请实施例提供的视觉算法模型的测试方法的一流程示意图；
[0038]图2示出了本申请实施例提供的视觉算法模型的测试系统的一系统架构示意图；
[0039]图3示出了本申请实施例提供的视觉算法模型的测试方法的另一流程示意图；
[0040]图4示出了本申请实施例提供的视觉算法模型的测试方法的另一流程示意图；
[0041]图5示出了本申请实施例提供的视觉算法模型的测试方法的另一流程示意图；
[0042]图6示出了本申请实施例提供的视觉算法模型的测试方法的另一流程示意图；
[0043]图7示出了本申请实施例提供的视觉算法模型的测试系统的一结构示意图。
具体实施方式
[0044]下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。
[0045]通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0046]在下文中，可在本申请的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视觉算法模型的测试方法，其特征在于，所述方法包括：接收用户导入的测试数据，通过标注工具对所述测试数据进行标注处理，得到标注信息；将所述标注信息与所述测试数据对应存入数据库；从所述数据库中选择待测视觉算法模型所需的数据，根据选择的数据构建数据集；调用所述待测视觉算法模型，向所述待测视觉算法模型输入所述数据集，通过所述待测视觉算法模型对所述数据集进行处理，得到模型预测结果；确定所述待测视觉算法模型对应的性能指标类型，根据所述性能指标类型对所述模型预测结果进行评估处理，得到测试评估结果。2.根据权利要求1所述的方法，其特征在于，所述根据选择的数据构建数据集，包括：对选择的数据进行标准化处理，得到标准化数据；将所述标准化数据组成所述数据集。3.根据权利要求1所述的方法，其特征在于，所述调用所述待测视觉算法模型，包括：根据基础测试环境获取与所述待测视觉算法模型匹配的扩展测试环境；在所述扩展测试环境下调用所述待测视觉算法模型。4.根据权利要求3所述的方法，其特征在于，所述基础测试环境由Docker镜像文件构建得到，所述根据基础测试环境获取与所述待测视觉算法模型匹配的扩展测试环境，包括：向所述Docker镜像文件中注入所述待测视觉算法模型对应的环境依赖信息，得到扩展镜像文件；根据所述扩展镜像文件构建所述扩展测试环境。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取所述测试数据的关键信息，对所述关键信息进行持久化处理。6.根据权利要求1所述的方法，其特征在...

【专利技术属性】
技术研发人员：周祖兴，董斌，阳舜荣，
申请(专利权)人：深圳市优必选科技股份有限公司，
类型：发明
国别省市：