系统测试方法和装置制造方法及图纸

本申请提供了一种系统测试方法和装置，其中，该方法包括：获取样本数据集和目标计算逻辑；采集样本数据集在明文状态下根据目标计算逻辑计算得到的明文计算结果；在根据样本数据集和目标计算逻辑重复运行目标隐私计算系统预设次数之后，确定所述目标隐私计算系统重复运行预设次数得到的多个密文计算结果对应的明文计算结果的表征值，其中，预设次数大于1；根据所述表征值和明文计算结果验证所述目标隐私计算系统计算结果的正确性。在本申请实施例中，将上述表征值与不考虑数据隐私性的明文计算结果比较以验证系统计算结果的正确性，并且可以利用对外通讯流量验证系统的安全性，从而可以有效提高对目标隐私计算系统进行测试的结果的可靠性。

【技术实现步骤摘要】
系统测试方法和装置
本申请涉及数据处理
，特别涉及一种系统测试方法和装置。
技术介绍
人工智能技术是一种可以通过统计、机器学习算法等从海量数据中自动提取出反应数据内在规律的新技术，而海量的数据获取和管理是进行人工智能的前提基础。在现实中，完整、大量的数据通常是分布在多个机构或者各个个体的手中的，并且这些数据由于涉及商业利益、数据隐私性等因素，往往不可以直接的进行明文的分享、交互。安全多方计算(MPC)可以基于可靠的密码学理论为多参与方在多份数据上进行联合计算时保障各自数据不会泄露给其他人的同时计算得到所需要的结果。一种可行的方法是在基于TensorFlow机器学习框架，在多方共同处理计算逻辑图的过程中动态的对原来针对明文数据进行的操作算子(OP)替换为MPC下针对密文状态的数据处理的隐私化操作算子(MPCOP)，根据上述技术组合得到的系统一般称为基于MPC的隐私计算系统。在基于MPC的隐私计算系统的实现和运行过程中，由于是多方参与、各方处理的数据都处于密文而非有语义、可理解的明文状态，所以需要对该系统的正确性、安全性进行理论上的分析以及实际有效、易用的验证方案。只有在对上述隐私计算系统的计算结果的正确性和计算过程的安全性进行验证之后，才能实际的将其可靠的部署到各参与方的线上系统中。现有技术中已有一些针对分布式系统的自动化测试框架，例如：SOFAACTS、Robot框架等。但是由于使用了MPC技术的隐私计算系统中各个组件本地所能看到的都是本地的密文值，无法独立、自动的进行计算结果的正确性验证，更加无法在计算交互的全过程中对可能存在的数据泄露情况进行分析，从而使得现有技术中的针对分布式系统的自动化测试框架无法直接应用到基于MPC的隐私计算系统中去。进一步的，当前处理类似问题使用的针对分布式系统的自动化安全验证技术主要验证的是系统中是否存在网络安全等方面的问题，而非针对数据本身可能存在的泄露风险进行自动化的测试验证，从而无法针对隐私计算系统本身的特性进行测试验证。并且上述针对分布式系统的自动化安全验证技术的框架所采用的测试技术主要是提供通用性的测试部署、数据模型生成、测试脚本辅助生成等功能，应用到基于MPC的隐私计算系统中需要大量改造。而一般通用型分布式系统的自动化测试技术即使被定制化改造后也只能针对基于MPC的隐私计算方案的最终结果进行复杂的比对(在计算机测试中，称这种测试方式为“黑盒测试”)，这种关注外部最终直接结果的测试方式存在覆盖全部可能的输入困难、难以定位问题模块等明显的缺陷。因此，采用现有技术中的技术方案无法可靠地针对隐私计算系统的正确性进行测试。针对上述问题，目前尚未提出有效的解决方案。
技术实现思路
本申请实施例提供了一种系统测试方法和装置，以解决现有技术中无法可靠地针对隐私计算系统的正确性进行系统测试的问题。本申请实施例提供了一种系统测试方法，用于对目标隐私计算系统进行测试，所述系统测试方法包括：获取样本数据集和目标计算逻辑；采集所述样本数据集在明文状态下根据所述目标计算逻辑计算得到的明文计算结果，其中，所述目标计算逻辑为所述目标隐私计算系统中使用的计算逻辑；在根据所述样本数据集和所述目标计算逻辑重复运行所述目标隐私计算系统预设次数之后，确定所述目标隐私计算系统重复运行所述预设次数得到的多个密文计算结果对应的明文计算结果的表征值，其中，所述预设次数大于1；根据所述表征值和所述明文计算结果验证所述目标隐私计算系统计算结果的正确性。在一个实施例中，在根据所述样本数据集和所述目标计算逻辑重复运行所述目标隐私计算系统所述预设次数之后，还包括：监听目标对象的通讯端口，并确定所述目标对象在重复运行所述预设次数的过程中对外通讯流量的表征值，其中，所述目标对象为所述目标隐私计算系统在预设运行环境下的处理对象；对所述对外通讯流量的表征值进行概率分布分析以验证所述目标隐私计算系统计算过程的安全性。在一个实施例中，确定所述目标对象在重复运行所述预设次数的过程中对外通讯流量的表征值，包括：采集所述目标对象在重复运行所述预设次数的过程中每次运行的对外通讯流量；对每次运行的对外通讯流量取平均值，得到对外通讯流量的流量平均值；将所述流量平均值作为所述对外通讯流量的表征值。在一个实施例中，在根据所述样本数据集和所述目标计算逻辑重复运行所述目标隐私计算系统所述预设次数之后，确定所述目标隐私计算系统重复运行所述预设次数得到的多个密文计算结果对应的明文计算结果的表征值，包括：根据所述样本数据集和所述目标计算逻辑重复运行所述目标隐私计算系统所述预设次数，并采集所述目标隐私计算系统在重复运行所述预设次数的过程中每次运行得到的密文计算结果；利用安全多方计算算法将所述每次运行得到的密文计算结果分别恢复为明文计算结果，得到多个目标明文计算结果；对所述多个目标明文计算结果取平均值，得到所述目标明文计算的结果平均值；将所述结果平均值作为所述明文计算结果的表征值。在一个实施例中，根据所述样本数据集和所述目标计算逻辑重复运行所述目标隐私计算系统所述预设次数，包括：对所述样本数据集进行随机切分得到多份密文输入数据；将所述多份密文输入数据和所述目标计算逻辑分别发送给所述目标隐私计算系统的多个参与方，并运行所述目标隐私计算系统；在所述目标隐私计算系统完成一次运行的情况下，采集所述目标隐私计算系统本次运行得到的密文计算结果；获取所述目标隐私计算系统当前运行总次数，并确定所述当前运行总次数是否等于所述预设次数；在确定所述当前运行总次数等于所述预设次数的情况下，结束对所述目标隐私计算系统的重复运行。在一个实施例中，在确定所述当前运行总次数是否等于所述预设次数之后，还包括：在确定所述当前运行总次数小于所述预设次数的情况下，重新对所述样本数据集进行随机切分并根据重新随机切分得到的多份密文输入数据运行所述目标隐私计算系统。在一个实施例中，根据所述表征值和所述明文计算结果验证所述目标隐私计算系统计算结果的正确性，包括：对所述表征值和所述明文计算结果进行误差分析，得到绝对误差值；在所述绝对误差值在预设范围内的情况下，确定所述目标隐私计算系统计算结果的正确性验证通过。在一个实施例中，在根据所述表征值和所述明文计算结果验证所述目标隐私计算系统计算结果的正确性之后，还包括：针对所述目标隐私计算系统中的单个算子或者局部组合算子进行计算结果的正确性验证和计算过程的安全性验证。本申请实施例还提供了一种系统测试装置，用于对目标隐私计算系统进行测试，所述系统测试装置包括：获取模块，用于获取样本数据集和目标计算逻辑；采集模块，用于采集所述样本数据集在明文状态下根据所述目标计算逻辑计算得到的明文计算结果，其中，所述目标计算逻辑为所述目标隐私计算系统中使用的计算逻辑；确定模块，用于在根据所述样本数据集和所述目标计算逻辑重复运行所述目标隐私计算系统预设次数之后，确定所述目标隐私计算系统重复运行所述预设次数得到的多个密文计算结果对应的明文计算结果的表征值，其中，所述预设次数大于1；正确性验证模块，用于根本文档来自技高网...

【技术保护点】
1.一种系统测试方法，其特征在于，用于对目标隐私计算系统进行测试，所述系统测试方法包括：/n获取样本数据集和目标计算逻辑；/n采集所述样本数据集在明文状态下根据所述目标计算逻辑计算得到的明文计算结果，其中，所述目标计算逻辑为所述目标隐私计算系统中使用的计算逻辑；/n在根据所述样本数据集和所述目标计算逻辑重复运行所述目标隐私计算系统预设次数之后，确定所述目标隐私计算系统重复运行所述预设次数得到的多个密文计算结果对应的明文计算结果的表征值，其中，所述预设次数大于1；/n根据所述表征值和所述明文计算结果验证所述目标隐私计算系统计算结果的正确性。/n

【技术特征摘要】
1.一种系统测试方法，其特征在于，用于对目标隐私计算系统进行测试，所述系统测试方法包括：
获取样本数据集和目标计算逻辑；
采集所述样本数据集在明文状态下根据所述目标计算逻辑计算得到的明文计算结果，其中，所述目标计算逻辑为所述目标隐私计算系统中使用的计算逻辑；
在根据所述样本数据集和所述目标计算逻辑重复运行所述目标隐私计算系统预设次数之后，确定所述目标隐私计算系统重复运行所述预设次数得到的多个密文计算结果对应的明文计算结果的表征值，其中，所述预设次数大于1；
根据所述表征值和所述明文计算结果验证所述目标隐私计算系统计算结果的正确性。


2.根据权利要求1所述的方法，其特征在于，在根据所述样本数据集和所述目标计算逻辑重复运行所述目标隐私计算系统所述预设次数之后，还包括：
监听目标对象的通讯端口，并确定所述目标对象在重复运行所述预设次数的过程中对外通讯流量的表征值，其中，所述目标对象为所述目标隐私计算系统在预设运行环境下的处理对象；
对所述对外通讯流量的表征值进行概率分布分析以验证所述目标隐私计算系统计算过程的安全性。


3.根据权利要求2所述的方法，其特征在于，确定所述目标对象在重复运行所述预设次数的过程中对外通讯流量的表征值，包括：
采集所述目标对象在重复运行所述预设次数的过程中每次运行的对外通讯流量；
对每次运行的对外通讯流量取平均值，得到对外通讯流量的流量平均值；
将所述流量平均值作为所述对外通讯流量的表征值。


4.根据权利要求1所述的方法，其特征在于，在根据所述样本数据集和所述目标计算逻辑重复运行所述目标隐私计算系统所述预设次数之后，确定所述目标隐私计算系统重复运行所述预设次数得到的多个密文计算结果对应的明文计算结果的表征值，包括：
根据所述样本数据集和所述目标计算逻辑重复运行所述目标隐私计算系统所述预设次数，并采集所述目标隐私计算系统在重复运行所述预设次数的过程中每次运行得到的密文计算结果；
利用安全多方计算算法将所述每次运行得到的密文计算结果分别恢复为明文计算结果，得到多个目标明文计算结果；
对所述多个目标明文计算结果取平均值，得到所述目标明文计算结果的结果平均值；
将所述结果平均值作为所述明文计算结果的表征值。


5.根据权利要求4所述的方法，其特征在于，根据所述样本数据集和所述目标计算逻辑重复运行所述目标隐私计算系统所述预设次数，包括：
对所述样本数据集进行随机切分得到多份密文输入数据；
将所述多份密文输入...

【专利技术属性】
技术研发人员：史俊杰，陈元丰，晏意林，黄高峰，谢翔，李升林，孙立林，
申请(专利权)人：矩阵元技术深圳有限公司，
类型：发明
国别省市：广东;44