System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本公开的实施例涉及执行图架构的流程设计,具体涉及基于分布式执行图架构的数据处理方法、装置和系统。
技术介绍
1、广告系统一般由播放系统和检索系统组成。检索系统一般是从海量广告中按照一定的规则筛选出符合要求的少量广告的系统。而播放系统一般是按照业务约束,对检索系统提供的广告候选集进行重新筛选组织,并且返回给前端显示的系统。播放系统通常通过rpc(remote procedure call,远程过程调用)调用来访问检索系统,获取到检索出的广告队列,进行精排等操作。如图1所示,为了支持上述执行流程,播放系统和检索系统一般都是通过执行图架构来实现。通过使用执行图框架将各个过程串联起来,实现了流程的可编排。
2、然而,专利技术人发现,执行图的执行流程由代码驱动。这样就会使得执行图架构的编排方式死板,一般只有上一个流程走完才能走下一个流程。从而存在大量无意义等待,造成耗时浪费。
3、该
技术介绍
部分中所公开的以上信息仅用于增强对本专利技术构思的背景的理解,并因此,其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。
技术实现思路
1、本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
2、本公开的一些实施例提出了基于分布式执行图架构的数据处理方法、数据处理装置、数据处理系统、电子设备、计算机可读介质和
3、第一方面,本公开的一些实施例提供了一种基于分布式执行图架构的数据处理方法,包括:响应于接收到客户端发送的查询子请求,确定是否存在与查询子请求相匹配的请求会话数据,其中,查询子请求中包括请求标识和请求顺序,以及客户端可发送请求标识相同,查询信息不同的多个查询子请求;响应于确定存在相匹配的请求会话数据,对查询子请求进行解析,以及根据解析结果确定对应的预设执行图架构流程;根据预设执行图架构流程,对查询子请求进行处理,以及将查询子请求的查询结果存储在请求会话数据中;响应于根据请求顺序,确定查询子请求为最后请求,对请求会话数据中的各查询结果进行合并处理,将合并处理后的查询结果发送给客户端。
4、在一些实施例中,该方法还包括:响应于确定不存在相匹配的请求会话数据,根据请求标识创建与查询子请求对应的请求会话数据。
5、在一些实施例中,确定是否存在与查询子请求相匹配的请求会话数据,包括:确定已存储的各请求会话数据所对应的请求标识中,是否存在与查询子请求中的请求标识相匹配的;响应于确定存在匹配的请求标识,将匹配的请求标识所对应的请求会话数据,确定为与查询子请求相匹配的请求会话数据;响应于确定不存在匹配的请求标识,确定不存在与查询子请求相匹配的请求会话数据。
6、在一些实施例中,确定是否存在与查询子请求相匹配的请求会话数据,还包括:根据查询子请求中的请求顺序,确定查询子请求是否为初始请求;响应于确定是初始请求,确定不存在与查询子请求相匹配的请求会话数据;响应于确定不是初始请求,确定存在与查询子请求相匹配的请求会话数据。
7、在一些实施例中,该方法还包括:根据查询目的对查询请求中包含的多个查询信息进行拆分;确定拆分后的各查询信息分别对应的执行图架构流程,得到分布式执行图架构,以及确定分布式执行图架构中的分布式节点;根据多个查询信息,设置对应的分布式节点的边依赖和数据依赖,以在连接节点的边就绪且数据就绪的情况下,执行对应的分布式节点。
8、在一些实施例中,设置对应的分布式节点的边依赖和数据依赖,包括:通过信号量机制实现对分布式节点的边依赖和数据依赖的创建,以及响应于根据预设执行图架构流程,对查询子请求进行处理,通过信号量机制,解除预设执行图架构流程中分布式节点的数据依赖。
9、第二方面,本公开的一些实施例提供了一种基于分布式执行图架构的数据处理装置,包括:数据确定单元,被配置成响应于接收到客户端发送的查询子请求,确定是否存在与查询子请求相匹配的请求会话数据,其中,查询子请求中包括请求标识和请求顺序,以及客户端可发送请求标识相同,查询信息不同的多个查询子请求;请求解析单元,被配置成响应于确定存在相匹配的请求会话数据,对查询子请求进行解析,以及根据解析结果确定对应的预设执行图架构流程;请求处理单元,被配置成根据预设执行图架构流程,对查询子请求进行处理,以及将查询子请求的查询结果存储在请求会话数据中;结果发送单元,被配置成响应于根据请求顺序,确定查询子请求为最后请求,对请求会话数据中的各查询结果进行合并处理,将合并处理后的查询结果发送给客户端。
10、在一些实施例中,该装置还包括会话创建单元,被配置成响应于确定不存在相匹配的请求会话数据,根据请求标识创建与查询子请求对应的请求会话数据。
11、在一些实施例中,数据确定单元进一步被配置成确定已存储的各请求会话数据所对应的请求标识中,是否存在与查询子请求中的请求标识相匹配的;响应于确定存在匹配的请求标识,将匹配的请求标识所对应的请求会话数据,确定为与查询子请求相匹配的请求会话数据;响应于确定不存在匹配的请求标识,确定不存在与查询子请求相匹配的请求会话数据。
12、在一些实施例中,数据确定单元还进一步被配置成根据查询子请求中的请求顺序,确定查询子请求是否为初始请求;响应于确定是初始请求,确定不存在与查询子请求相匹配的请求会话数据;响应于确定不是初始请求,确定存在与查询子请求相匹配的请求会话数据。
13、在一些实施例中,该装置还包括分布式节点设置单元,被配置成根据查询目的对查询请求中包含的多个查询信息进行拆分;确定拆分后的各查询信息分别对应的执行图架构流程,得到分布式执行图架构,以及确定分布式执行图架构中的分布式节点;根据多个查询信息,设置对应的分布式节点的边依赖和数据依赖,以在连接节点的边就绪且数据就绪的情况下,执行对应的分布式节点。
14、在一些实施例中,分布式节点设置单元进一步被配置成通过信号量机制实现对分布式节点的边依赖和数据依赖的创建,以及响应于根据预设执行图架构流程,对查询子请求进行处理,通过信号量机制,解除预设执行图架构流程中分布式节点的数据依赖。
15、第三方面,本公开的一些实施例提供了一种基于分布式执行图架构的数据处理系统,包括:客户端,被配置成响应于检测到数据查询操作,获取与数据查询操作相关的查询信息,响应于获取到第一查询信息,生成表示数据查询操作的第一查询子请求,将第一查询子请求发送给服务端,响应于获取到第二查询信息,生成表示数据查询操作的第二查询子请求,将第二查询子请求发送给服务端,其中,第一查询信息与第二查询信息为不同的信息,查询子请求中包括请求标识和请求顺序,表示同一数据查询操作的各查询子请求中的请求标识相同;服务端,被配置成响应于接收到同一客户端发送的多个查询子请求,采用如本文档来自技高网...
【技术保护点】
1.一种基于分布式执行图架构的数据处理方法,包括:
2.根据权利要求1所述的基于分布式执行图架构的数据处理方法,其中,所述方法还包括:
3.根据权利要求2所述的基于分布式执行图架构的数据处理方法,其中,所述确定是否存在与所述查询子请求相匹配的请求会话数据,包括:
4.根据权利要求1所述的基于分布式执行图架构的数据处理方法,其中,所述确定是否存在与所述查询子请求相匹配的请求会话数据,还包括:
5.根据权利要求1-4之一所述的基于分布式执行图架构的数据处理方法,其中,所述方法还包括:
6.根据权利要求5所述的基于分布式执行图架构的数据处理方法,其中,所述设置对应的分布式节点的边依赖和数据依赖,包括:
7.一种基于分布式执行图架构的数据处理装置,包括:
8.一种基于分布式执行图架构的数据处理系统,包括:
9.一种电子设备,包括:
10.一种计算机可读介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时,实现如权利要求1-6中任一所述的基于分布式执行图架构的数据处理方法。
11.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时,实现如权利要求1-6中任一所述的基于分布式执行图架构的数据处理方法。
...【技术特征摘要】
1.一种基于分布式执行图架构的数据处理方法,包括:
2.根据权利要求1所述的基于分布式执行图架构的数据处理方法,其中,所述方法还包括:
3.根据权利要求2所述的基于分布式执行图架构的数据处理方法,其中,所述确定是否存在与所述查询子请求相匹配的请求会话数据,包括:
4.根据权利要求1所述的基于分布式执行图架构的数据处理方法,其中,所述确定是否存在与所述查询子请求相匹配的请求会话数据,还包括:
5.根据权利要求1-4之一所述的基于分布式执行图架构的数据处理方法,其中,所述方法还包括:
6.根据权利要求5所述的基于分...
【专利技术属性】
技术研发人员:陶阳阳,岳宝,武瑞龙,徐昊,李森,
申请(专利权)人:北京沃东天骏信息技术有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。