一种隐私计算平台系统及任务分发方法技术方案

本申请提供一种隐私计算平台系统及任务分发方法，系统包括平台方节点、计算组件管理节点和多个计算组件节点，计算组件管理节点接收平台方或计算组件节点发送的网络请求，将该网络请求包装为一个事件，若该事件为请求接收类事件，则选取负载值最低且负载指标没有超过阈值的计算组件节点进行调用，也就是说，计算组件管理节点能够感知计算组件节点的运行状态，从而选择合适的计算组件节点进行任务分发，避免了平台下发的工作分发到已经下线的算法组件节点上或有任务执行中的、负载很高的算法组件节点上，保证了平台工作的稳定执行。保证了平台工作的稳定执行。保证了平台工作的稳定执行。

【技术实现步骤摘要】
一种隐私计算平台系统及任务分发方法


[0001]本申请涉及隐私计算
，具体而言，涉及一种隐私计算平台系统及任务分发方法。

技术介绍

[0002]在隐私计算的场景下，隐私计算平台包含了非常多的算法组件，并且算法组件的不同版本功能还不一样，例如隐私求交组件，纵向LR组件等，只有通过平台的工作调度，多个算法组件共同配合完成联邦学习或者隐私计算等相关工作。
[0003]隐私计算平台的多版本算法组件部署在不同的虚拟机上，相互之间无感知，由于无法感知算法组件的运行状态，平台下发的工作可能分发到已经下线的算法组件节点上、也可能下发到有任务执行中的、负载很高的算法组件节点上，这会影响平台工作的执行情况。

技术实现思路

[0004]本申请实施例的目的在于提供一种隐私计算平台系统及任务分发方法，用以解决隐私计算平台的多版本算法组件部署在不同的虚拟机上，相互之间无感知，由于无法感知算法组件的运行状态，平台下发的工作可能分发到已经下线的算法组件节点上、也可能下发到有任务执行中的、负载很高的算法组件节点上，影响平台工作的执行情况的问题。
[0005]本申请实施例提供的一种隐私计算平台系统，包括平台方节点、计算组件管理节点和多个计算组件节点；
[0006]平台方节点和计算组件节点用于发送网络请求；
[0007]计算组件管理节点用于提供处理网络请求的服务；其中，服务包括：接收网络请求，将网络请求包装为一个事件，并判断该事件的类型；若该事件为请求接收类事件，则选取负载值最低且负载指标没有超过阈值的计算组件节点进行调用；
[0008]其中，负载指标包括CPU使用率、内存使用率和服务响应失败率中的至少一项，负载值由负载指标计算得到。
[0009]上述技术方案中，隐私计算平台系统包括平台方节点、计算组件管理节点和多个计算组件节点，计算组件管理节点接收平台方或计算组件节点发送的网络请求，将该网络请求包装为一个事件，若该事件为请求接收类事件，则选取负载值最低且负载指标没有超过阈值的计算组件节点进行调用，也就是说，计算组件管理节点能够感知计算组件节点的运行状态，从而选择合适的计算组件节点进行任务分发，避免了平台下发的工作分发到已经下线的算法组件节点上或有任务执行中的、负载很高的算法组件节点上，保证了平台工作的稳定执行。并且，对计算组件节点的管理、调用，平台方再也不需要关心，只需要往计算组件管理节点下发任务就可以了，做到真正的解耦操作。
[0010]在一些可选的实施方式中，计算组件管理节点包括检测模块和多个master模块；
[0011]检测模块用于提供虚拟IP技术，将多个master模块设置为主从模式；在主从模式
中，当主master提供服务的时候，从master待机工作，直到虚拟IP指定的路由映射到从master时，由从master提供服务。
[0012]上述技术方案中，为了保证服务架构的高可用，计算组件管理节点包括检测模块和多个master模块，检测模块用于提供虚拟IP技术，将多个master模块设置为主从模式。例如，检测模块采用keepalived软件，当主master提供服务的时候，从master待机工作，直到虚拟IP指定的路由映射到从master时，由从master提供服务。
[0013]在一些可选的实施方式中，master模块包括判断模块和第一事件处理器；
[0014]判断模块用于判断事件是否为请求接收类事件，若是则利用第一事件处理器对该事件进行处理；
[0015]其中，第一事件处理器包括拦截模块和转发模块；拦截模块利用一系列的拦截器对请求接收类事件进行处理，若达到了熔断阈值，则进行失效转移，由从master提供服务，否则，则利用转发模块选取负载值最低且负载指标没有超过阈值的计算组件节点进行调用。
[0016]上述技术方案中，master模块包括判断模块和第一事件处理器，在判断模块判断出事件为请求接收类事件时，利用第一事件处理器对该事件进行处理。并且，第一事件处理器又具有拦截模块和转发模块，拦截模块利用一系列的拦截器对请求接收类事件进行处理，若达到了熔断阈值，则进行失效转移，由从master提供服务，因此，master模块提供了熔断机制，在计算机领域中，也是通过熔断机制主动的提前的拒绝一些响应，避免短时间的大量的请求击穿服务的承载能力造成服务不可用的重大损失，现在通过master模块对请求的管理工作，提高了整个系统的抗干扰性、安全性和稳定性。
[0017]在一些可选的实施方式中，负载值根据以下方式确定：D＝A
×
x1+B
×
x2+C
×
x3；
[0018]其中，D为负载值，为A为CPU使用率，x1为CPU权重值，B为内存使用率，x2为内存权重值，C为服务响应失败率，x3为服务响应权重值。
[0019]上述技术方案中，选取负载值最低且负载指标没有超过阈值的计算组件节点进行调用，负载值包括三个指标：CPU使用率、内存使用率和服务响应失败率。其中，阈值和权重值可以通过配置调整，例如进行如下设置：CPU阈值为75％，内存阈值为75％，请求响应速率为75％，CPU权重值为100，内存权重值为100，服务响应权重值为100。
[0020]在一些可选的实施方式中，master模块还包括第二事件处理器；
[0021]判断模块还用于判断事件是否为请求发送类事件，若是则利用第二事件处理器进行处理；
[0022]其中，第二事件处理器包括超时队列，超时队列用于扫描线程，扫描出已经超时的任务；
[0023]若已经超时的任务已经完成，则丢弃该已经超时的任务；
[0024]若已经超时的任务还在进行中，则对该已经超时的任务进行重试操作，并更新重试次数为原重试次数加1；
[0025]若已经超时的任务重试次数达到预设的次数，则进行失效转移操作，由从master提供服务。
[0026]上述技术方案中，master模块还包括第二事件处理器，并提供对请求发送类事件进行相关处理的服务，也就是利用超时队列扫描线程，扫描出已经超时的任务；若已经超时
的任务已经完成，则丢弃该已经超时的任务；若已经超时的任务还在进行中，则对该已经超时的任务进行重试操作，并更新重试次数为原重试次数加1；若已经超时的任务重试次数达到预设的次数，则进行失效转移操作，由从master提供服务。
[0027]在一些可选的实施方式中，master模块还包括第三事件处理器；
[0028]判断模块还用于判断事件是否为计算组件节点注册类事件，若是，则利用第三事件处理器进行处理；
[0029]其中，第三事件处理器包括缓存模块和心跳检查模块；缓存模块用于写入该计算组件节点注册类事件的当前节点信息，心跳检查模块用于获取计算组件节点的运行状态，移除不可用的计算组件节点，更新运行中的计算组件节点的负载数据。
[0030]上述技术方案中，master模块还包括第三事件处理器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种隐私计算平台系统，其特征在于，包括平台方节点、计算组件管理节点和多个计算组件节点；所述平台方节点和计算组件节点用于发送网络请求；所述计算组件管理节点用于提供处理所述网络请求的服务；其中，所述服务包括：接收所述网络请求，将所述网络请求包装为一个事件，并判断该事件的类型；若该事件为请求接收类事件，则选取负载值最低且负载指标没有超过阈值的计算组件节点进行调用；其中，负载指标包括CPU使用率、内存使用率和服务响应失败率中的至少一项，所述负载值由所述负载指标计算得到。2.如权利要求1所述的系统，其特征在于，所述计算组件管理节点包括检测模块和多个master模块；所述检测模块用于提供虚拟IP技术，将所述多个master模块设置为主从模式；在所述主从模式中，当主master提供所述服务的时候，从master待机工作，直到虚拟IP指定的路由映射到从master时，由从master提供所述服务。3.如权利要求2所述的系统，其特征在于，所述master模块包括判断模块和第一事件处理器；所述判断模块用于判断事件是否为请求接收类事件，若是则利用所述第一事件处理器对该事件进行处理；其中，所述第一事件处理器包括拦截模块和转发模块；所述拦截模块利用一系列的拦截器对所述请求接收类事件进行处理，若达到了熔断阈值，则进行失效转移，由从master提供服务，否则，则利用所述转发模块选取负载值最低且负载指标没有超过阈值的计算组件节点进行调用。4.如权利要求3所述的系统，其特征在于，所述负载值根据以下方式确定：D＝A
×
x1+B
×
x2+C
×
x3；其中，D为负载值，为A为CPU使用率，x1为CPU权重值，B为内存使用率，x2为内存权重值，C为服务响应失败率，x3为服务响应权重值。5.如权利要求3所述的系统，其特征在于，所述master模块还包括第二事件处理器；所述判断模块还用于判断事件是否为请求发送类事件，若是则利用所述第二事件处理器进行处理；其中，所述第二事件处理器包括超时队列，所述超时队列用于扫描线程，扫描出已经...

【专利技术属性】
技术研发人员：杜浩，伊世林，卞阳，
申请(专利权)人：富算科技上海有限公司，
类型：发明
国别省市：