【技术实现步骤摘要】
本申请属于数据联合分析领域，具体涉及一种数据联合分析方法及相关装置。
技术介绍
1、目前，隐私数据的多方联合分析主要通过mpc(multi-party computation，多方安全计算)隐私计算协议来实现，但由于mpc协议计算需要多方机构参与，多方机构均需进行一定的计算，且数据传输频繁，若将sql语句对应的sql算子全部分配在mpc节点进行计算，需要消耗较多的数据传输成本和算力。
技术实现思路
1、本申请实施例提供了一种数据联合分析方法及相关装置，能够通过根据sql查询语句构建dag执行计划，将dag执行计划中多个节点的多个sql算子划分为联合执行算子和本地明文算子，本地明文算子在本地第一数据处理系统运算，联合执行算子在mpc节点联合运算，相比于所有sql算子全部在mpc节点运算，有利于减少数据传输成本，有利于节省算力。
2、第一方面，本申请实施例提供了一种数据联合分析方法，应用于联合分析系统中的第一调度器，所述联合分析系统包括第一机构的第一调度器、第一数据处理系统和第一mpc节点，及第二机构的第二调度器、第二数据处理系统和第二mpc节点，及第三机构的处理设备，所述第一调度器分别连接所述第一数据处理系统、所述第一mpc节点和所述第二调度器，所述第二调度器分别连接所述第二数据处理系统和所述第二mpc节点，所述处理设备分别连接所述第一数据处理系统、所述第一mpc节点、所述第二数据处理系统和所述第二mpc节点；所述方法包括：
3、获取目标sql查询语句；>
4、向所述第二调度器发送所述目标sql查询语句；
5、根据所述目标sql查询语句构建dag执行计划；
6、将所述dag执行计划中多个节点的多个sql算子划分为联合执行算子和本地明文算子；
7、将运算涉及所述第一机构的第一输入数据的所述本地明文算子添加到第一执行队列，以及将所述联合执行算子添加到第二执行队列；
8、向所述第一数据处理系统发送所述第一执行队列中的所述本地明文算子，以及向所述第一mpc节点发送所述第二执行队列中的所述联合执行算子。
9、第二方面，本申请实施例提供了一种数据联合分析装置，应用于联合分析系统中的第一调度器，所述联合分析系统包括第一机构的第一调度器、第一数据处理系统和第一mpc节点，及第二机构的第二调度器、第二数据处理系统和第二mpc节点，及第三机构的处理设备，所述第一调度器分别连接所述第一数据处理系统、所述第一mpc节点和所述第二调度器，所述第二调度器分别连接所述第二数据处理系统和所述第二mpc节点，所述处理设备分别连接所述第一数据处理系统、所述第一mpc节点、所述第二数据处理系统和所述第二mpc节点；所述数据联合分析装置，包括：获取单元、传输单元、构建单元、划分单元和添加单元，其中，
10、所述获取单元，用于获取目标sql查询语句；
11、所述传输单元，用于向所述第二调度器发送所述目标sql查询语句；
12、所述构建单元，用于根据所述目标sql查询语句构建dag执行计划；
13、所述划分单元，用于将所述dag执行计划中多个节点的多个sql算子划分为联合执行算子和本地明文算子；
14、所述添加单元，用于将运算涉及所述第一机构的第一输入数据的所述本地明文算子添加到第一执行队列，以及将所述联合执行算子添加到第二执行队列；
15、所述传输单元，用于向所述第一数据处理系统发送所述第一执行队列中的所述本地明文算子，以及向所述第一mpc节点发送所述第二执行队列中的所述联合执行算子。
16、第三方面，本申请实施例提供了一种电子设备，包括处理器、存储器以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行本申请实施例第一方面中的步骤的指令。
17、第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序/指令，所述计算机程序/指令被处理器执行时实现本申请实施例第一方面中的步骤。
18、第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
19、可以看出，本申请实施例中，第一调度器先获取目标sql查询语句，接着向所述第二调度器发送目标sql查询语句，再接着根据目标sql查询语句构建dag执行计划，进一步，将dag执行计划中多个节点的多个sql算子划分为联合执行算子和本地明文算子，在进一步，将本地明文算子添加到第一执行队列，以及将联合执行算子添加到第二执行队列，向第一数据处理系统发送第一执行队列中的本地明文算子，以及向第一mpc节点发送第二执行队列中的联合执行算子。通过根据sql查询语句构建dag执行计划，将dag执行计划中多个节点的多个sql算子划分为联合执行算子和本地明文算子，本地明文算子在本地第一数据处理系统运算，联合执行算子在mpc节点联合运算，相比于所有sql算子全部在mpc节点运算，有利于减少数据传输成本，有利于节省算力。
本文档来自技高网...【技术保护点】
1.一种数据联合分析方法，其特征在于，应用于联合分析系统中的第一调度器，所述联合分析系统包括第一机构的第一调度器、第一数据处理系统和第一MPC节点，及第二机构的第二调度器、第二数据处理系统和第二MPC节点，及第三机构的处理设备，所述第一调度器分别连接所述第一数据处理系统、所述第一MPC节点和所述第二调度器，所述第二调度器分别连接所述第二数据处理系统和所述第二MPC节点，所述处理设备分别连接所述第一数据处理系统、所述第一MPC节点、所述第二数据处理系统和所述第二MPC节点；所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在所述向所述第一MPC节点发送所述第二执行队列中的所述联合执行算子之后，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述根据所述目标SQL查询语句构建DAG执行计划，包括：
4.根据权利要求1或3所述的方法，其特征在于，所述将所述DAG执行计划中多个节点的多个SQL算子划分为联合执行算子和本地明文算子，包括：
5.根据权利要求1所述的方法，其特征在于，所述第一MPC节点用于在执行目标SQL算子
6.根据权利要求5所述的方法，其特征在于，所述目标SQL算子包括以下至少一种：连表查询算子和聚合分组算子。
7.一种数据联合分析方法，其特征在于，应用于联合分析系统中第三机构的处理设备，所述联合分析系统包括第一机构的第一调度器、第一数据处理系统和第一MPC节点，及第二机构的第二调度器、第二数据处理系统、第二MPC节点，及所述第三机构的所述处理设备，所述第一调度器分别连接所述第一数据处理系统、所述第一MPC节点和所述第二调度器，所述第二调度器分别连接所述第二数据处理系统和所述第二MPC节点，所述处理设备分别连接所述第一数据处理系统、所述第一MPC节点、所述第二数据处理系统和所述第二MPC节点；所述方法包括：
8.一种数据联合分析装置，其特征在于，应用于联合分析系统中的第一调度器，所述联合分析系统包括第一机构的第一调度器、第一数据处理系统和第一MPC节点，及第二机构的第二调度器、第二数据处理系统和第二MPC节点，及第三机构的处理设备，所述第一调度器分别连接所述第一数据处理系统、所述第一MPC节点和所述第二调度器，所述第二调度器分别连接所述第二数据处理系统和所述第二MPC节点，所述处理设备分别连接所述第一数据处理系统、所述第一MPC节点、所述第二数据处理系统和所述第二MPC节点；所述数据联合分析装置，包括：获取单元、传输单元、构建单元、划分单元和添加单元，其中，
9.一种电子设备，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-6任一项或者权利要求7所述的方法中的步骤的指令。
10.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-6任一项或者权利要求7所述的方法。
...【技术特征摘要】
1.一种数据联合分析方法，其特征在于，应用于联合分析系统中的第一调度器，所述联合分析系统包括第一机构的第一调度器、第一数据处理系统和第一mpc节点，及第二机构的第二调度器、第二数据处理系统和第二mpc节点，及第三机构的处理设备，所述第一调度器分别连接所述第一数据处理系统、所述第一mpc节点和所述第二调度器，所述第二调度器分别连接所述第二数据处理系统和所述第二mpc节点，所述处理设备分别连接所述第一数据处理系统、所述第一mpc节点、所述第二数据处理系统和所述第二mpc节点；所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在所述向所述第一mpc节点发送所述第二执行队列中的所述联合执行算子之后，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述根据所述目标sql查询语句构建dag执行计划，包括：
4.根据权利要求1或3所述的方法，其特征在于，所述将所述dag执行计划中多个节点的多个sql算子划分为联合执行算子和本地明文算子，包括：
5.根据权利要求1所述的方法，其特征在于，所述第一mpc节点用于在执行目标sql算子时，将第一表的第一聚合主键数据以秘密分享方式传输到所述处理设备，所述第二mpc节点用于在执行所述目标sql算子时，将第二表的第二聚合主键数据以秘密分享方式传输到所述处理设备；
6.根据权利要求5所述的方法，其特征在于，所述目标sql算子包括以下至少一种：连表查询算子和聚合分组算子。
7.一种数据联合分析方法，其特征在于，应用于联合分析系统中第三机构的处理设备，所述联合分析系统包...
【专利技术属性】
技术研发人员：陈宇杰，李辉忠，张开翔，姚辉亚，李昊轩，王章，王朝阳，廖飞强，黄飞，鄢新义，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。