多源数据处理系统以及多源数据处理方法技术方案

本发明专利技术涉及多源数据处理方法及其系统。该方法包括：在关键属性集中混入冗余属性集作为初始属性集；将初始属性集进行格式转换得到预定格式的待处理属性集；选择两个或两个以上的客户端作为模拟执行客户端，并且模拟该模拟执行客户端执行待处理属性集并获得模拟完成属性集；将模拟完成属性集作为噪声与待处理属性集一起发送给多个客户端之中除模拟执行客户端之外的剩余客户端，由剩余客户端执行待处理属性集并获得执行完成属性集；将执行完成属性集输入到决策分析模型中进行计算分析并得到决策分析结果。根据本发明专利技术，在保护多个客户端的隐私信息和服务端的决策分析模型的隐私性的基础上，能够综合来自多个客户端的信息得到决策分析结果。

【技术实现步骤摘要】
多源数据处理系统以及多源数据处理方法
本专利技术涉及计算机技术，具体地涉及一种多源数据（即来自多个客户端的数据）进行数据处理的多源数据处理系统以及多源数据处理方法。
技术介绍
在证券行业云服务的环境中，有时需要利用多家券商机构的私有数据信息进行综合的数据处理，因此，需要提出一种在保护各家券商机构的隐私数据的前提下进行数据分析处理的方法。另一方面，一般由云服务提供方采用自有决策分析模型进行相关的数据分析处理，这种情况下也需要提出一种不会泄露云服务提供方的决策分析模型的数据分析处理方法。
技术实现思路
鉴于上述问题，本专利技术旨在提出一种能够不泄露来自多源（即客户端）的私有隐私信息并且同时也不会泄露服务端的隐私信息的对多源数据进行处理的多源数据处理系统以及多源数据处理方法。本专利技术还提供一种多源数据处理方法，其特征在于，由服务端和多个客户端实现，该方法包括：冗余加入步骤，服务端在关键属性集中混入冗余属性集作为初始属性集；格式转换步骤，服务端将所述初始属性集进行格式转换得到预定格式的待处理属性集；模拟执行步骤，服务端基于第一随机算法选择两个或两个以上的客户端作为模拟执行客户端，并且模拟所述模拟执行客户端执行所述待处理属性集并获得模拟完成属性集；真实执行步骤，服务端将所述模拟完成属性集作为噪声与所述待处理属性集一起发送给所述多个客户端之中除所述模拟执行客户端之外的剩余客户端，由剩余客户端执行所述待处理属性集并获得执行完成属性集；以及分析决策步骤，服务端将所述执行完成属性集输入到决策分析模型中进行计算分析并得到决策分析结果。可选地，所述决策分析模型根据所述执行完成属性集的属性，进行逐步判断，最终得到决策结果。可选地，对于各个客户端预先设置唯一的客户端标识，在所述模拟执行步骤中，从多个客户端的客户端标识号中通过第一随机算法选择两个或两个以上的客户端作为模拟执行客户端。可选地，所述第一随机算法包括以下的任意一种：数值概率算法、拉斯维加斯算法、蒙特卡罗算法以及舍伍德算法。可选地，在所述格式转换步骤中，对于所述初始属性集中的属性字段进行如下的格式转换：对于离散型字段，则生成问题集；对于线性属性的字段，则采用离散化技术进行离散处理之后生成问题集。可选地，真实执行步骤包括以下子步骤：子步骤1：服务端采用第二随机算法从所述多个客户端之中除所述模拟执行客户端之外的剩余客户端中选择一个客户端；子步骤2：将所述待处理属性集和所述模拟属性集发送给该被选择的客户端；子步骤3：该被选择的客户端执行所述待处理属性集并执行结果添加到所述待处理属性集后返回给服务端；子步骤4：服务端重复执行所述子步骤1~3直到所述剩余客户端全部执行完所述待处理属性集并获得执行完成属性集。本专利技术的多源数据处理系统，其特征在于，包括：服务端和多个客户端，其中，所述服务端包括：冗余加入模块，用于在关键属性集中混入冗余属性集作为初始属性集；格式转换模块，用于将所述初始属性集进行格式转换得到预定格式的待处理属性集；模拟执行模块，用于基于第一随机算法选择两个或两个以上的客户端作为模拟执行客户端，并且模拟所述模拟执行客户端执行所述待处理属性集并获得模拟完成属性集；第一通信模块，与所述客户端进行通信连接，用于将所述模拟完成属性集作为噪声与所述待处理属性集一起发送给所述多个客户端之中除所述模拟执行客户端之外的剩余客户端并且用于接受返回的执行完成属性集；以及分析决策模块，用于将所述执行完成属性集输入到决策分析模型进行计算分析并得到决策分析结果，可选地，所述决策分析模型根据所述执行完成属性集的属性，进行逐步判断，最终得到决策结果。其中，所述客户端包括：第二通信模块，与所述服务端进行通信连接，用于从服务端接收所述模拟完成属性集和所述待处理属性集并且将下述的执行模块获得的执行完成属性集返回到所述服务端；以及执行模块，用于执行所述待处理属性集并获得执行完成属性集。可选地，对于各个客户端预先设置唯一的客户端标识，所述模拟执行模块从多个客户端的客户端标识号中通过第一随机算法选择两个或两个以上的客户端作为模拟执行客户端。可选地，所述第一随机算法包括以下的任意一种：数值概率算法、拉斯维加斯算法、蒙特卡罗算法以及舍伍德算法。可选地，所述格式转换模块中对于所述初始属性集中的属性字段进行如下的格式转换：对于离散型字段，则生成问题集；对于线性属性的字段，则采用离散化技术进行离散处理之后生成问题集。本专利技术的服务端，其特征在于，用于与多个客户端进行通信，包括：冗余加入模块，用于在关键属性集中混入冗余属性集作为初始属性集；格式转换模块，用于将所述初始属性集进行格式转换得到预定格式的待处理属性集；模拟执行模块，用于基于第一随机算法从所述多个客户端中选择两个或两个以上的客户端作为模拟执行客户端，并且模拟所述模拟执行客户端执行所述待处理属性集并获得模拟完成属性集；第一通信模块，用于将所述模拟完成属性集作为噪声与所述待处理属性集一起发送给所述多个客户端之中除所述模拟执行客户端之外的剩余客户端并且用于接受返回的执行完成属性集；以及分析决策模块，用于将所述执行完成属性集输入到决策分析模型进行计算分析并得到决策分析结果。本专利技术的计算机可读介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现上述的多源数据处理方法。本专利技术的计算机设备，包括存储模块、处理器以及存储在存储模块上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述的多源数据处理方法。如上所述，根据本专利技术的多源数据处理系统以及多源数据处理方法，能够提供保护客户端的私有数据隐私性的保护策略，而且，对于决策分析模型输入的关键属性集加入部分冗余属性集，并转换为答案为是或否的问题集，按随机顺序传给服务中的客户端，客户端再根据自身的隐私数据更新问题集答案，最后一个完成的客户端传给服务端完成针对同一对象的属性收集。由此，在获得所有客户端的关于分析对象的关键属性信息的同时，能够保证信息的隐私性，防止泄露关键属性。而且，能够由服务端提供保护决策分析模型的策略，各个客户端也不能够获知服务端的决策分析模型，对于服务端也提供了隐私保护。而且，根据本专利技术的多源数据处理系统以及多源数据处理方法，将选择出的客户端标识的客户端作为模拟执行客户端，能够隐蔽其他真实的数据。因此，根据本专利技术，能够不泄露来自多源（即客户端）的私有隐私信息并且同时也不会泄露服务端的隐私信息（即决策分析模型），能够在实现隐私数据的保护的基础上，综合来自多源的信息获得最终的决策分析结果。附图说明图1是表示本专利技术的多源数据处理方法的流程示意图。图2是表示本专利技术的多源数据处理系统的结构框图。...

【技术保护点】
1.一种多源数据处理方法，其特征在于，包括：/n冗余加入步骤，服务端在关键属性集中混入冗余属性集作为初始属性集；/n格式转换步骤，服务端将所述初始属性集进行格式转换得到预定格式的待处理属性集；/n模拟执行步骤，服务端基于第一随机算法选择多个客户端中的两个或两个以上的客户端作为模拟执行客户端，并且模拟所述模拟执行客户端执行所述待处理属性集并获得模拟完成属性集；/n真实执行步骤，服务端将所述模拟完成属性集作为噪声与所述待处理属性集一起发送给所述多个客户端之中除所述模拟执行客户端之外的剩余客户端，并且服务端从剩余客户端接收执行完成属性集，其中所述执行完成属性集由剩余客户端执行所述待处理属性集而获得；以及分析决策步骤，服务端将所述执行完成属性集输入到决策分析模型中进行计算分析并得到决策分析结果。/n

【技术特征摘要】
1.一种多源数据处理方法，其特征在于，包括：
冗余加入步骤，服务端在关键属性集中混入冗余属性集作为初始属性集；
格式转换步骤，服务端将所述初始属性集进行格式转换得到预定格式的待处理属性集；
模拟执行步骤，服务端基于第一随机算法选择多个客户端中的两个或两个以上的客户端作为模拟执行客户端，并且模拟所述模拟执行客户端执行所述待处理属性集并获得模拟完成属性集；
真实执行步骤，服务端将所述模拟完成属性集作为噪声与所述待处理属性集一起发送给所述多个客户端之中除所述模拟执行客户端之外的剩余客户端，并且服务端从剩余客户端接收执行完成属性集，其中所述执行完成属性集由剩余客户端执行所述待处理属性集而获得；以及分析决策步骤，服务端将所述执行完成属性集输入到决策分析模型中进行计算分析并得到决策分析结果。


2.如权利要求1所述的多源数据处理方法，其特征在于，
所述决策分析模型根据所述执行完成属性集的属性，进行逐步判断，最终得到决策结果。


3.如权利要求1所述的多源数据处理方法，其特征在于，
对于各个客户端预先设置唯一的客户端标识，
在所述模拟执行步骤中，从多个客户端的客户端标识号中通过第一随机算法选择两个或两个以上的客户端作为模拟执行客户端。


4.如权利要求3所述的多源数据处理方法，其特征在于，
所述第一随机算法包括以下的任意一种：
数值概率算法、拉斯维加斯算法、蒙特卡罗算法以及舍伍德算法。


5.如权利要求1所述的多源数据处理方法，其特征在于，
在所述格式转换步骤中，对于所述初始属性集中的属性字段进行如下的格式转换：
对于离散型字段，则生成问题集；
对于线性属性的字段，则采用离散化技术进行离散处理之后生成问题集。


6.如权利要求1所述的多源数据处理方法，其特征在于，
真实执行步骤包括以下子步骤：
子步骤1：服务端采用第二随机算法从所述多个客户端之中除所述模拟执行客户端之外的剩余客户端中选择一个客户端；
子步骤2：将所述待处理属性集和所述模拟属性集发送给该被选择的客户端；
子步骤3：该被选择的客户端执行所述待处理属性集并执行结果添加到所述待处理属性集后返回给服务端；
子步骤4：服务端重复执行所述子步骤1~3直到所述剩余客户端全部执行完所述待处理属性集并获得执行完成属性集。


7.一种服务端，其特征在于，用于与多个客户端进行通信，包括：
冗余加入模块，用于在关键属性集中混入冗余属性集作为初始属性集；
格式转换模块，用于将所述初始属性集进行格式转换得到预定格式的待处理属性集；
模拟执行模块，用于基于第一随机算法从所述多个客户端中选择两个或两个以上的客户端作为模拟执行客户端，并且模拟所述模拟执行客户端执行所述待处...

【专利技术属性】
技术研发人员：任静涵，
申请(专利权)人：证通股份有限公司，
类型：发明
国别省市：上海;31