数据集安全测试方法、装置及存储介质制造方法及图纸

本申请实施例涉及人工智能领域，并提供数据集安全测试方法、装置及存储介质，方法包括接收中继服务器发送的模型测试请求；获取与模型测试请求对应的数据样本集和测试模型镜像；基于数据样本集对测试模型镜像进行模型测试，得到样本测试结果集；若确定样本测试结果集中存在误拒样本，基于误拒样本确定误拒样本集；将误拒样本集存储至预设的第一存储区域；若接收到中继服务器发送的第一数据下载请求，基于第一数据下载请求在第一存储区域中获取误拒样本集并发送至中继服务器。本方案使得业务服务器中除了第一存储区域以外的其他区域中存储数据均不能被下载只能被查看，提高了业务服务器中所存储数据集以及测试模型数据的安全性。性。性。

【技术实现步骤摘要】
数据集安全测试方法、装置及存储介质


[0001]本申请实施例涉及计算机视觉
，尤其涉及一种数据集安全测试方法、装置及存储介质。

技术介绍

[0002]在计算机视觉的算法场景下，用于测试模型的数据集安全是一个尤其需要关注的问题。在对现有技术的研究和实践过程中，本申请实施例的专利技术人发现，若将数据集全部存储于公共服务器上，则任何用户都能随意访问和下载这些数据集，若其中有一些数据集属于敏感数据集或者是不能随意下载类型的数据集，也因为存放在公共服务器上使得数据集安全性极低。

技术实现思路

[0003]本申请实施例提供了一种数据集安全测试方法、装置及存储介质，能够将用于测试模型的数据集均存储于业务服务器，将模型测试及样本测试结果集也均存储于业务服务器，当用户需查看样本测试结果集中的误拒样本集时，需要发送第一数据下载请求在业务服务器中验证，在验证通过的情况下才能具有权限下载误拒样本集进行查看，提高了业务服务器中所存储数据集的安全性。
[0004]第一方面中，从业务服务器的角度介绍本申请实施例提供的一种数据集安全测试方法，应用于数据集安全测试系统中的业务服务器，所述数据集安全测试系统还包括至少一个终端设备和中继服务器，所述业务服务器中存储有至少一个用于测试模型的数据集，所述方法包括：
[0005]接收所述中继服务器发送的模型测试请求；其中，所述模型测试请求在所述终端设备中生成并发送至所述中继服务器，所述模型测试请求中包括数据集路径、测试模型路径和测试模型镜像名称；
[0006]获取与所述模型测试请求对应的数据样本集和测试模型镜像；
[0007]基于所述数据样本集对所述测试模型镜像进行模型测试，得到样本测试结果集；
[0008]若确定所述样本测试结果集中存在误拒样本，基于误拒样本确定误拒样本集；其中，所述误拒样本集中每一误拒样本对应的样本测试结果与数据标注结果不同；
[0009]将所述误拒样本集存储至预设的第一存储区域；
[0010]从所述中继服务器接收到来自所述终端设备的第一数据下载请求后，基于所述第一数据下载请求在所述第一存储区域中获取所述误拒样本集并发送至所述中继服务器；其中，所述第一数据下载请求通过所述中继服务器验证。
[0011]第二方面中，具有实现对应于上述第一方面提供的数据集安全测试方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。
[0012]一种可能的设计中，所述装置包括：
[0013]收发模块和处理模块；
[0014]所述收发模块，用于接收中继服务器发送的模型测试请求；其中，所述模型测试请求在终端设备中生成并发送至中继服务器，所述模型测试请求中包括数据集路径、测试模型路径和测试模型镜像名称；
[0015]所述处理模块，用于获取与所述模型测试请求对应的数据样本集和测试模型镜像；基于所述数据样本集对所述测试模型镜像进行模型测试，得到样本测试结果集；
[0016]所述处理模块，还用于若确定所述样本测试结果集中存在误拒样本，基于误拒样本确定误拒样本集；其中，所述误拒样本集中每一误拒样本对应的样本测试结果与数据标注结果不同；将所述误拒样本集存储至预设的第一存储区域；
[0017]所述收发模块，还用于若接收到所述中继服务器发送的第一数据下载请求，基于所述第一数据下载请求在所述第一存储区域中获取所述误拒样本集并发送至所述中继服务器；其中，所述第一数据下载请求在所述终端设备中生成并发送至所述中继服务器，且通过所述中继服务器验证。
[0018]第三方面中，本申请实施例又一方面提供了一种数据集安全测试装置，其包括至少一个连接的处理器、存储器和收发器，其中，所述存储器用于存储计算机程序，所述处理器用于调用所述存储器中的计算机程序来执行上述第一方面中提供的方法。
[0019]第四方面中，本申请实施例又一方面提供了一种计算机设备，其包括至少一个连接的处理器、存储器和收发器，其中，所述存储器用于存储计算机程序，所述处理器用于调用所述存储器中的计算机程序来执行上述第一方面中提供的方法。
[0020]本申请实施例又一方面提供了一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行上述第一方面中提供的方法。
[0021]根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述第一方面中提供的方法。
[0022]相较于现有技术，本申请实施例提供的方案中，在人工智能的模型数据集测试等场景，当业务服务器接收到中继服务器发送的模型测试请求后，业务服务器响应该模型测试请求并在业务服务器中获取对应的数据样本集和测试模型镜像，获取完成后在业务服务器基于数据样本集对测试模型镜像进行模型测试得到样本测试结果集。由于在样本测试结果集中存在误拒样本，所以在业务服务器中获取样本测试结果集所有的误拒样本可组成误拒样本集并转存至作为解除了下载限制的第一存储区域。第一存储区域中的误拒样本集可供具有合法访问权限的中继服务器获取第一存储区域中的所述误拒样本集并转发至终端设备。因为业务服务器中除了第一存储区域是解除了数据下载限制，其他区域存储的数据或模型均不能下载但只能被查看，所以能够提高业务服务器中在第一存储区域之外其他存储区域所存储数据集以及测试模型数据的安全性。
附图说明
[0023]图1为本申请实施例提供的一种数据集安全测试系统的示意图；
[0024]图2为本申请实施例中数据集安全测试方法的一种流程示意图；
[0025]图3为本申请实施例中数据集安全测试方法中数据集安全测试系统UI界面的示意图；
[0026]图4a为本申请实施例中数据集安全测试中业务服务器的一种结构示意图；
[0027]图4b为本申请实施例中数据集安全测试系统的一种结构示意图；
[0028]图5为本申请实施例中服务器的一种结构示意图；
[0029]图6为本申请实施例中服务终端的一种结构示意图；
[0030]图7为本申请实施例中服务器的一种结构示意图。
具体实施方式
[0031]本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请实施例中所出现的模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据集安全测试方法，应用于数据集安全测试系统中的业务服务器，所述安全测试系统包括中继服务器和至少一个终端设备，其特征在于，所述业务服务器中存储有至少一个用于测试模型的数据集，所述方法包括：从所述中继服务器接收来自所述终端设备的模型测试请求；其中，所述模型测试请求中包括数据集路径、测试模型路径和测试模型镜像名称；获取与所述模型测试请求对应的数据样本集和测试模型镜像；基于所述数据样本集对所述测试模型镜像进行模型测试，得到样本测试结果集；若确定所述样本测试结果集中存在误拒样本，基于误拒样本确定误拒样本集；其中，所述误拒样本集中每一误拒样本对应的样本测试结果与数据标注结果不同；将所述误拒样本集存储至预设的第一存储区域；从所述中继服务器接收到来自所述终端设备的第一数据下载请求后，基于所述第一数据下载请求在所述第一存储区域中获取所述误拒样本集并发送至所述中继服务器；其中，所述第一数据下载请求通过所述中继服务器验证。2.根据权利要求1所述的方法，其特征在于，所述获取与所述模型测试请求对应的数据样本集和测试模型镜像，包括：解析获取所述模型测试请求中的测试模型路径和测试模型镜像名称；基于所述测试模型路径和所述测试模型镜像名称在镜像仓库中获取测试模型镜像；基于所述模型测试请求中的数据集路径在磁盘中获取数据样本集。3.根据权利要求2所述的方法，其特征在于，所述获取与所述模型测试请求对应的数据样本集和测试模型镜像之后，所述基于所述数据样本集对所述测试模型镜像进行模型测试，得到样本测试结果集之前，所述方法还包括：将所述测试模型镜像部署于后端服务；将所述数据样本集在所述磁盘中的数据集路径发送至所述后端服务。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述获取与所述模型测试请求对应的数据样本集和测试模型镜像之后，所述基于所述数据样本集对所述测试模型镜像进行模型测试，得到样本测试结果集之前，所述方法还包括：获取所述测试模型镜像的测试模型类型；若所述测试模型类型为SDK测试类型，将所述数据样本集输入至所述测试模型镜像对应的封装包；若所述测试模型类型为API测试类型，获取所述测试模型镜像的API接口并启动所述API接口，将所述数据样本集输入至所述API接口。5.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述基于所述第一数据下载请求在所述第一存储区域中获取所述误拒样本集并发送至所述中继服务器，包括：后端服务接收所述第一数...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：北京瑞莱智慧科技有限公司，
类型：发明
国别省市：