分布式RPC系统和数据处理方法及装置制造方法及图纸

本发明专利技术公开一种分布式RPC系统和数据处理方法及装置。该系统包括：客户端，服务器端和资源管理平台；服务器端包括至少两个服务器，资源管理平台部署有实时计算框架；客户端用于将客户端识别信息和请求信息随机发送至目标服务器；目标服务器用于为请求信息设置请求ID，将服务器识别信息、请求信息和请求ID发送至资源管理平台；请求ID与客户端识别信息和请求信息分别相对应；资源管理平台用于通过实时计算框架响应请求信息，得到响应结果，将响应结果和请求ID发送至与服务器识别信息相对应的目标服务器，以使目标服务器将响应结果发送至与请求ID相对应的客户端。本发明专利技术提供的技术方案，能够简化处理流程，提高效率。

【技术实现步骤摘要】
分布式RPC系统和数据处理方法及装置
本专利技术涉及计算机
，尤其涉及一种分布式RPC系统和数据处理方法及装置。
技术介绍
RPC(RemoteProcedureCallProtocol，远程过程调用协议)服务是一种常见的C/S(Client/Server，客户端/服务器)服务架构，广泛应用于生产环境中。随着客户端访问量的增大，服务器端可以采用分布式架构，并行处理客户端的请求，以提高处理效率，这种称为分布式RPC架构。参见图1，图1为现有技术中采用分布式RPC架构的系统的结构图，如图1所示，RPCclient随机选择一个RPCServer来处理请求。而采用目前的分布式RPC架构的系统，需要专门为分布式RPC架构的系统部署(处理器和内存等)资源和规划上下线管理，比较繁琐，效率较低。
技术实现思路
有鉴于此，本专利技术提供了一种分布式RPC系统和数据处理方法及装置，能够简化处理流程，提高效率。为实现上述目的，本专利技术提供如下技术方案：一种分布式远程过程调用协议RPC系统，包括：客户端，与所述客户端相连接的服务器端，与所述服务器端相连接的资源管理平台；其中，所述服务器端包括至少两个服务器，所述资源管理平台部署有实时计算框架；所述客户端用于，将客户端识别信息和请求信息随机发送至目标服务器，所述目标服务器为所述服务器端包括的任一服务器；所述目标服务器用于，为所述请求信息设置请求ID，将服务器识别信息、所述请求信息和所述请求ID发送至所述资源管理平台；所述请求ID与所述客户端识别信息和所述请求信息分别相对应；所述资源管理平台用于，通过所述实时计算框架响应所述请求信息，得到响应结果，将所述响应结果和所述请求ID发送至与所述服务器识别信息相对应的目标服务器，以使所述与所述服务器识别信息相对应的目标服务器将所述响应结果发送至与所述请求ID相对应的客户端。进一步的，所述实时计算框架为：ApacheFlink或者ApacheStorm。进一步的，所述资源管理平台为：ApacheHadoopYARN或ApacheMesos。进一步的，所述实时计算框架包括：多个支持算子内和算子间计算并行度的内置算子。进一步的，所述内置算子支持按目标参量Key聚合数据。一种数据处理方法，应用于上述任一项所述的分布式远程过程调用协议RPC系统中的目标服务器，所述方法包括：接收所述客户端发送的客户端识别信息和请求信息；为所述请求信息设置请求ID，将服务器识别信息、所述请求信息和所述请求ID发送至所述资源管理平台，以使所述资源管理平台通过所述实时计算框架响应所述请求信息，得到响应结果，并通过所述服务器识别信息确定所述目标服务器；所述请求ID与所述客户端识别信息和所述请求信息分别相对应；接收所述资源管理平台发送的所述响应结果和所述请求ID，将所述响应结果发送至与所述请求ID相对应的客户端。一种数据处理装置，应用于上述任一项所述的分布式远程过程调用协议RPC系统中的目标服务器，所述装置包括：接收模块，用于接收所述客户端发送的客户端识别信息和请求信息；上传模块，为所述请求信息设置请求ID，将服务器识别信息、所述请求信息和所述请求ID发送至所述资源管理平台，以使所述资源管理平台通过所述实时计算框架响应所述请求信息，得到响应结果，并通过所述服务器识别信息确定所述目标服务器；所述请求ID与所述客户端识别信息和所述请求信息分别相对应；反馈模块，用于接收所述资源管理平台发送的所述响应结果和所述请求ID，将所述响应结果发送至与所述请求ID相对应的客户端。经由上述的技术方案可知，与现有技术相比，本专利技术提供了一种分布式RPC系统和数据处理方法及装置。本专利技术提供的分布式RPC系统，包括，客户端，与所述客户端相连接的服务器端，与所述服务器端相连接的资源管理平台，其中，所述服务器端包括至少两个服务器，所述资源管理平台部署有实时计算框架，所述客户端用于，将客户端识别信息和请求信息随机发送目标服务器，所述目标服务器为所述服务器端包括的任一服务器，所述目标服务器用于，为所述请求信息设置请求ID，将服务器识别信息、请求信息和请求ID发送至所述资源管理平台，所述请求ID与所述客户端识别信息和所述请求信息分别相对应，所述资源管理平台用于，通过所述实时计算框架响应所述请求信息，得到响应结果，将所述响应结果和所述请求ID发送至与所述服务器识别信息相对应的所述目标服务器，以使所述目标服务器将所述响应结果发送至与所述请求ID相对应的客户端。也就是说，服务器响应客户端发送的请求信息的操作交给了实时计算框架，而实时计算框架部署在已有的资源管理平台上。因此，应用本专利技术提供的技术方案，不需要像现有技术中专门为分布式RPC架构的系统部署资源和规划上下线管理，而是由已有的资源管理平台提供资源，由资源管理平台提供统一管理，能够方便上下线管理。因此，应用本专利技术提供的技术方案，能够简化处理流程，提高效率。此外，本专利技术实施例提供的技术方案，通过借助部署在资源管理平台上的实时计算框架，能够实现算子内和算子间的并行操作，由于本专利技术提供的技术方案，对请求信息的处理和计算操作都在实时计算框架内执行(RPCServer只负责转发)，而利用实时计算框架能够实现算子内和算子间的并行处理，从而能够提高处理效率，此外，实时计算框架支持按Key聚合数据，拥有相同Key的数据分配给同一个算子执行运算，能够减少访问外部系统的次数，从而能够提高处理效率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为现有技术中采用分布式RPC架构的系统的结构图；图2为本专利技术实施例提供的一种分布式RPC系统的结构图；图3为本专利技术实施例提供的一种实时计算框架的算子执行逻辑图；图4为本专利技术实施例提供的一种数据处理方法的流程图；图5为本专利技术实施例提供的一种数据处理装置的结构图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对现有技术和本专利技术作进一步详细的说明。首先，对现有技术做介绍：RPC(RemoteProcedureCallProtocol，远程过程调用协议)服务是一种常见的C/S(Client/Server，客户端/服务器)服务架构，广泛应用于生产环境中。随着客户端访问量的增大，服务器端可以采用分布式架构，并行处理客户端的请求，以提高处理效率，这种称为分布式RPC架构。参见图1，图1为现有技术中采用分布式RPC架构的系统的结构图，如图1所示，RPCclient随机选择一个RPCServer来处理请求。但是，这种分布式RPC架构具有如下缺点：需要专门为分布式RPC架构的系统部署(处理器和内存等)资源和规划上下线管理，比较繁琐，效率较低；RPCS本文档来自技高网...

【技术保护点】
一种分布式远程过程调用协议RPC系统，其特征在于，包括：客户端，与所述客户端相连接的服务器端，与所述服务器端相连接的资源管理平台；其中，所述服务器端包括至少两个服务器，所述资源管理平台部署有实时计算框架；所述客户端用于，将客户端识别信息和请求信息随机发送至目标服务器，所述目标服务器为所述服务器端包括的任一服务器；所述目标服务器用于，为所述请求信息设置请求ID，将服务器识别信息、所述请求信息和所述请求ID发送至所述资源管理平台；所述请求ID与所述客户端识别信息和所述请求信息分别相对应；所述资源管理平台用于，通过所述实时计算框架响应所述请求信息，得到响应结果，将所述响应结果和所述请求ID发送至与所述服务器识别信息相对应的目标服务器，以使所述与所述服务器识别信息相对应的目标服务器将所述响应结果发送至与所述请求ID相对应的客户端。

【技术特征摘要】
1.一种分布式远程过程调用协议RPC系统，其特征在于，包括：客户端，与所述客户端相连接的服务器端，与所述服务器端相连接的资源管理平台；其中，所述服务器端包括至少两个服务器，所述资源管理平台部署有实时计算框架；所述客户端用于，将客户端识别信息和请求信息随机发送至目标服务器，所述目标服务器为所述服务器端包括的任一服务器；所述目标服务器用于，为所述请求信息设置请求ID，将服务器识别信息、所述请求信息和所述请求ID发送至所述资源管理平台；所述请求ID与所述客户端识别信息和所述请求信息分别相对应；所述资源管理平台用于，通过所述实时计算框架响应所述请求信息，得到响应结果，将所述响应结果和所述请求ID发送至与所述服务器识别信息相对应的目标服务器，以使所述与所述服务器识别信息相对应的目标服务器将所述响应结果发送至与所述请求ID相对应的客户端。2.根据权利要求1所述的分布式远程过程调用协议RPC系统，其特征在于，所述实时计算框架为：ApacheFlink或者ApacheStorm。3.根据权利要求1所述的分布式远程过程调用协议RPC系统，其特征在于，所述资源管理平台为：ApacheHadoopYARN或ApacheMesos。4.根据权利要求1-3任一项所述的分布式远程过程调用协议RPC系统，其特征在于，所述实时计算框架包括：多个支持算子内和算子间计算并行度的内置算子。5.根据权利要求4所述的分布式远程过程...

【专利技术属性】
技术研发人员：马元文，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京,11