基于grpc框架的数据传输方法、装置及设备制造方法及图纸

本说明书实施例提供一种基于grpc框架的数据传输方法、装置及设备，在基于grpc框架的数据传输方法中，接收客户端发送的数据采集请求，该数据采集请求用于请求采集多种数据类型的数据。响应于该数据采集请求，采集多种数据类型的数据，并向客户端返回数据获取指示。响应于客户端发起的通道开通请求，开通与多种数据类型中各种数据类型相应的多条流式通道。接收客户端并行地通过多条流式通道发送的数据读取请求。响应于数据读取请求，并行地通过多条流式通道发送各自对应的数据类型的数据。

Data transmission method, device and equipment based on grpc framework

【技术实现步骤摘要】
基于grpc框架的数据传输方法、装置及设备
本说明书一个或多个实施例涉及计算机
，尤其涉及一种基于grpc框架的数据传输方法、装置及设备。
技术介绍
为了实现目标信息的精准推送，客户端通常需要请求服务端采集多种不同数据类型的数据。服务端在采集到不同数据类型的数据之后，将其返回给客户端。在传统技术中，客户端与服务端之间的数据传输通常基于消息中间件metaq或远程过程调用(RemoteProcedureCall，RPC)进行。然而在基于metaq或者RPC进行数据传输时，其传输的数据量通常会有大小限制。如，在客户端与服务端建立连接后，所传输的数据量通常不能超过128Kb。如果想要传输更大数据量的数据，就需要在客户端和服务端之间建立多次连接，然后分多次进行传输。由于上述多种数据类型数据的数据量通常会比较大，因此，为保证传输效率，客户端通常只向服务端请求一种数据类型的数据。
技术实现思路
本说明书一个或多个实施例描述了一种基于grpc框架的数据传输方法、装置及设备，可以在保证传输效率的前提下，在客户端与服务端之间传输大数据量数据。第一方面，提供了一种基于grpc框架的数据传输方法，包括：接收客户端发送的数据采集请求，所述数据采集请求用于请求采集多种数据类型的数据；响应于所述数据采集请求，采集所述多种数据类型的数据，并向所述客户端返回数据获取指示；响应于所述客户端发起的通道开通请求，开通与所述多种数据类型中各种数据类型相应的多条流式通道；接收所述客户端并行地通过所述多条流式通道发送的数据读取请求；响应于所述数据读取请求，并行地通过所述多条流式通道发送各自对应的数据类型的数据。第二方面，提供了一种基于grpc框架的数据传输方法，包括：向服务端发送数据采集请求，所述数据采集请求用于请求采集多种数据类型的数据；接收所述服务端返回的数据获取指示；响应于所述数据获取指示，向所述服务端发起通道开通请求，所述通道开通请求用于请求开通与所述多种数据类型中各数据类型相应的多条流式通道；在所述多条流式通道开通之后，并行地通过所述多条流式通道向所述服务端发送数据读取请求；接收所述服务端并行地通过所述多条流式通道发送的各自对应的数据类型的数据。第三方面，提供了一种基于grpc框架的数据传输装置，包括：接收单元，用于接收客户端发送的数据采集请求，所述数据采集请求用于请求采集多种数据类型的数据；采集单元，用于响应于所述接收单元接收的所述数据采集请求，采集所述多种数据类型的数据，并向所述客户端返回数据获取指示；开通单元，用于响应于所述客户端发起的通道开通请求，开通与所述多种数据类型中各种数据类型相应的多条流式通道；所述接收单元，还用于接收所述客户端并行地通过所述开通单元开通的所述多条流式通道发送的数据读取请求；发送单元，用于响应于所述接收单元接收的所述数据读取请求，并行地通过所述多条流式通道发送各自对应的数据类型的数据。第四方面，提供了一种基于grpc框架的数据传输装置，包括：发送单元，用于向服务端发送数据采集请求，所述数据采集请求用于请求采集多种数据类型的数据；接收单元，用于接收所述服务端返回的数据获取指示；所述发送单元，还用于响应于所述接收单元接收的所述数据获取指示，向所述服务端发起通道开通请求，所述通道开通请求用于请求开通与所述多种数据类型中各数据类型相应的多条流式通道；所述发送单元，还用于在所述多条流式通道开通之后，并行地通过所述多条流式通道向所述服务端发送数据读取请求；所述接收单元，还用于接收所述服务端并行地通过所述多条流式通道发送的各自对应的数据类型的数据。第五方面，提供了一种基于grpc框架的数据传输设备，包括：存储器；一个或多个处理器；以及一个或多个程序，其中所述一个或多个程序存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序被所述处理器执行时实现以下步骤：接收客户端发送的数据采集请求，所述数据采集请求用于请求采集多种数据类型的数据；响应于所述数据采集请求，采集所述多种数据类型的数据，并向所述客户端返回数据获取指示；响应于所述客户端发起的通道开通请求，开通与所述多种数据类型中各种数据类型相应的多条流式通道；接收所述客户端并行地通过所述多条流式通道发送的数据读取请求；响应于所述数据读取请求，并行地通过所述多条流式通道发送各自对应的数据类型的数据。第六方面，提供了一种基于grpc框架的数据传输设备，包括：存储器；一个或多个处理器；以及一个或多个程序，其中所述一个或多个程序存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序被所述处理器执行时实现以下步骤：向服务端发送数据采集请求，所述数据采集请求用于请求采集多种数据类型的数据；接收所述服务端返回的数据获取指示；响应于所述数据获取指示，向所述服务端发起通道开通请求，所述通道开通请求用于请求开通与所述多种数据类型中各数据类型相应的多条流式通道；在所述多条流式通道开通之后，并行地通过所述多条流式通道向所述服务端发送数据读取请求；接收所述服务端并行地通过所述多条流式通道发送的各自对应的数据类型的数据。本说明书一个或多个实施例提供的基于grpc框架的数据传输方法、装置及设备，接收客户端发送的数据采集请求，该数据采集请求用于请求采集多种数据类型的数据。响应于该数据采集请求，采集多种数据类型的数据，并向客户端返回数据获取指示。响应于客户端发起的通道开通请求，开通与多种数据类型中各种数据类型相应的多条流式通道。接收客户端并行地通过多条流式通道发送的数据读取请求。响应于数据读取请求，并行地通过多条流式通道发送各自对应的数据类型的数据。由此可以看出，本说明书提供的方案中，客户端可以向服务端请求多种数据类型的数据。且对于采集到的不同数据类型的数据，可以建立不同的流式通道进行传输。由此实现了在保证传输效率的前提下，在客户端与服务端之间传输大数据量数据。附图说明为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1为本说明书提供的基于grpc框架的数据传输方法的应用场景示意图；图2为本说明书一个实施例提供的基于grpc框架的数据传输方法流程图；图3为本说明书另一个实施例提供的基于grpc框架的数据传输方法流程图；图4为本说明书提供的基于grpc框架的数据传输方法信息交互图；图5为本说明书一个实施例提供的基于grpc框架的数据传输装置示意图；图6为本说明书另一个实施例提供的基于grpc框架的数据传输装置示意图；图7为本说明书一个实施例提供的基于grpc框架的数据传输设备示意图；图8为本说明书另一个实施例提供的基于grpc框架的数据传输设备示意图。具体实施方式下面结合附图，对本说明书提供的方案进行描述。在描述本说明书提供的方案之前，先对本方案的专利技术构思作以下说明。如
技术介绍
的内容所述，在基于metaq或者RPC进行数据传输时，为保证传输效率，客户端通常只能向服务端请求一种数据类型的数据。为获取更多数据类型的数据，本说明书将基于谷歌开发的grpc框架来进行数据传输。grpc是一本文档来自技高网...

【技术保护点】
1.一种基于grpc框架的数据传输方法，通过服务端执行，所述方法包括：接收客户端发送的数据采集请求，所述数据采集请求用于请求采集多种数据类型的数据；响应于所述数据采集请求，采集所述多种数据类型的数据，并向所述客户端返回数据获取指示；响应于所述客户端发起的通道开通请求，开通与所述多种数据类型中各种数据类型相应的多条流式通道；接收所述客户端并行地通过所述多条流式通道发送的数据读取请求；响应于所述数据读取请求，并行地通过所述多条流式通道发送各自对应的数据类型的数据。

【技术特征摘要】
1.一种基于grpc框架的数据传输方法，通过服务端执行，所述方法包括：接收客户端发送的数据采集请求，所述数据采集请求用于请求采集多种数据类型的数据；响应于所述数据采集请求，采集所述多种数据类型的数据，并向所述客户端返回数据获取指示；响应于所述客户端发起的通道开通请求，开通与所述多种数据类型中各种数据类型相应的多条流式通道；接收所述客户端并行地通过所述多条流式通道发送的数据读取请求；响应于所述数据读取请求，并行地通过所述多条流式通道发送各自对应的数据类型的数据。2.根据权利要求1所述的方法，在所述开通与所述多种数据类型中各种数据类型相应的多条流式通道之前，还包括：接收所述客户端发送的长连接请求；根据所述长连接请求，建立与所述客户端之间的长连接；所述多条流式通道基于所述长连接而创建。3.根据权利要求2所述的方法，所述长连接请求包括通道创建指示；所述建立与所述客户端之间的长连接,包括:根据所述通道创建指示，基于所述长连接创建所述多条流式通道，并使其处于未激活状态；所述通道开通请求为激活请求；所述开通与所述多种数据类型中各种数据类型相应的多条流式通道，包括：激活已创建的、处于未激活状态的所述多条流式通道。4.根据权利要求2所述的方法，所述通道开通请求用于请求所述服务端创建所述多条流式通道；所述开通与所述多种数据类型中各种数据类型相应的多条流式通道，包括：基于所述长连接创建与所述多种数据类型中各种数据类型相应的多条流式通道，并激活所述多条流式通道。5.根据权利要求2所述的方法，所述多种数据类型包括第一类型，所述多条流式通道包括与所述第一类型对应的第一通道，所述长连接请求包括针对所述第一类型的数据设置的第一数据块大小；所述并行地通过所述多条流式通道发送各自对应的数据类型的数据，包括：按照所述第一数据块大小，对所述第一类型的数据进行拆分，以得到至少一个数据块；通过所述第一通道依次发送所述至少一个数据块。6.根据权利要求1所述的方法，所述采集多种数据类型的数据，包括：获取对应于每种数据类型的重要性参数；对于所述每种数据类型，根据对应的重要性参数，从已创建的数据采集线程中选取相应数量的数据采集线程；启动所选取的数据采集线程，以采集所述多种数据类型的数据。7.根据权利要求1所述的方法，所述数据类型包括工商数据类型、新闻负面数据类型以及公示数据类型中的若干种。8.一种基于grpc框架的数据传输方法，通过客户端执行，所述方法包括：向服务端发送数据采集请求，所述数据采集请求用于请求采集多种数据类型的数据；接收所述服务端返回的数据获取指示；响应于所述数据获取指示，向所述服务端发起通道开通请求，所述通道开通请求用于请求开通与所述多种数据类型中各数据类型相应的多条流式通道；在所述多条流式通道开通之后，并行地通过所述多条流式通道向所述服务端发送数据读取请求；接收所述服务端并行地通过所述多条流式通道发送的各自对应的数据类型的数据。9.根据权利要求8所述的方法，所述多种数据类型包括第一类型，所述多条流式通道包括与所述第一类型对应的第一通道，所述接收所述服务端并行地通过所述多条流式通道发送的各自对应的数据类型的数据，包括：依次接收所述服务端通过所述第一通道发送的至少一个数据块；其中，所述至少一个数据块是由所述服务端根据所述客户端预设的第一数据块大小，对所述第一类型的数据进行拆分后得到的；按照所述至少一个数据块的接收顺序，对所述至少一个数据块进行拼接，以得到所述第一类型的数据。10.根据权利要求8所述的方法，所述数据采集请求是由所述客户端在接收到当前用户的授权指令后发送的；所述授权指令用于授权获取与所述当前用户具有代表关系的组织机构的相关类型数据；所述相关类型数据至少包括工商数据、新闻负面数据以及公示数据。11.根据权利要求8所述的方法，所述数据类型包括工商数据类型、新闻负面数据类型以及公示数据类型中的若干种。12.一种基于grpc框架的数据传输装置，包括：接收单元，用于接收客户端发送的数据采集请求，所述数据采集请求用于请求采集多种数据类型的数据；采集单元，用于响应于所述接收单元接收的所述数据采集请求，采集所述多种数据类型的数据，并向所述客户端返回数据获取指示；开通单元，用于响应于所述客户端发起的通道开通请求，开通与所述多种数据类型中各种数据类型相应的多条流式通道；所述接收单元，还用于接收所述客户端并行地通过所述开通单元开通的所述多条流式通道发送的数据读取请求；发送单元，用于响应于所述接收单元接收的所述数据读取请求，并行地通过所述多条流式通道发送各自对应的数据类型的数据。13.根据权利要求12所...

【专利技术属性】
技术研发人员：樊龙，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY