System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据处理方法、装置、系统及存储介质制造方法及图纸_技高网

数据处理方法、装置、系统及存储介质制造方法及图纸

技术编号:44827417 阅读:2 留言:0更新日期:2025-03-28 20:19
本公开涉及一种数据处理方法、装置、系统及存储介质,所述方法包括:获取待发布的目标数据的目标数据类型;根据所述目标数据类型,向存储管理器发送查询请求消息,所述查询请求消息用于请求所述存储管理器查询于所述目标数据对应的数据订阅节点的节点地址;接收所述存储管理器根据所述查询请求消息发送的查询响应消息,所述查询响应消息包括所述数据订阅节点的节点地址;根据所述节点地址,将所述目标数据发送至所述数据订阅节点。

【技术实现步骤摘要】

本公开涉及数据处理,尤其涉及一种数据处理方法、装置、系统及存储介质


技术介绍

1、通常,网络应用依赖于推送通知,也称为“订阅”或“观察”,其中,生产者(发布者)向主题发送消息,这些消息被分发到所有已表示对这些主题感兴趣的消费者(订阅者)。这种设计模式将数据生产者与消费者解耦,允许可扩展和灵活的数据分发。

2、在相关的数据订阅中,通常数据是由生产者(发布者)发布数据到消息中间件,例如开源的kafka、bigpipe等,下游的设备再从消息中间件中对数据进行订阅。但是,消息中间件的配置需要消耗大量的机器资源;而且,消息中间件会造成数据传输延迟。


技术实现思路

1、为克服相关技术中存在的问题,本公开提供一种数据处理方法、装置、系统及存储介质。

2、根据本公开实施例的第一方面,提供一种数据处理方法,所述方法包括:

3、获取待发布的目标数据的目标数据类型;

4、根据所述目标数据类型,向存储管理器发送查询请求消息,所述查询请求消息用于请求所述存储管理器查询于所述目标数据对应的数据订阅节点的节点地址;

5、接收所述存储管理器根据所述查询请求消息发送的查询响应消息,所述查询响应消息包括所述数据订阅节点的节点地址;

6、可选地,所述根据所述节点地址,将所述目标数据发送至所述数据订阅节点包括:

7、根据所述节点地址,与所述数据订阅节点建立通信连接;

8、基于所述通信连接,将所述目标数据发送至所述数据订阅节点

9、可选地,所述根据所述目标数据类型,向所述存储管理器发送查询请求消息包括:

10、将所述目标数据类型添加至待查询队列;

11、按照所述待查询队列,依次向所述存储管理器发送查询请求消息。

12、可选地,所述方法还包括:

13、在所述目标数据发送成功的情况下,删除所述待查询队列中存储的所述目标数据类型。

14、可选地,所述方法还包括:

15、在所述目标数据发送失败的情况下,向所述存储管理器发送指示消息,所述指示消息用于表征所述目标数据未发布;或者,

16、在所述目标数据发送失败的情况下,重新执行根据所述目标数据类型,通过存储管理器获取数据订阅节点的节点地址,至根据所述节点地址,将所述目标数据发送至所述数据订阅节点的步骤。

17、根据本公开实施例的第二方面,提供一种数据处理方法,所述方法包括:

18、接收到数据发布节点发送的查询请求消息,所述查询请求消息用于请求查询所述数据订阅节点的节点地址;

19、根据所述查询请求消息,确定所述数据订阅节点的节点地址;

20、向所述数据发布节点发送查询响应消息,所述查询响应消息包括所述数据订阅节点的节点地址,以便所述数据发布节点根据所述节点地址,将所述目标数据发送至所述数据订阅节点。

21、可选地,所述方法还包括:

22、接收所述数据订阅节点的订阅请求消息,所述订阅请求消息包括所述数据订阅节点订阅的目标数据类型,以及所述数据订阅节点的节点地址;

23、根据所述订阅请求消息,将所述目标数据类型和对应的所述数据订阅节点的节点地址存储至存储管理器。

24、根据本公开实施例的第三方面,提供一种数据处理方法,所述方法包括:

25、接收数据发布节点根据数据订阅节点的节点地址发送的目标数据;所述节点地址包含在查询响应消息中,所述查询响应消息是所述存储管理器根据查询请求消息发送至所述数据发布节点的,所述查询请求消息是所述数据发布节点根据待发布的目标数据的目标数据类型,向所述存储管理器发送的。

26、可选地,所述方法还包括:

27、向所述存储管理器发送订阅请求消息,所述订阅请求消息包括所述数据订阅节点订阅的目标数据类型,以及所述数据订阅节点的节点地址

28、根据本公开实施例的第四方面,提供一种数据处理装置,所述装置包括:

29、第一获取模块,被配置为获取待发布的目标数据的目标数据类型;

30、第一发送模块,被配置为根据所述目标数据类型,向存储管理器发送查询请求消息,所述查询请求消息用于请求所述存储管理器查询于所述目标数据对应的数据订阅节点的节点地址;

31、第一接收模块,被配置为接收所述存储管理器根据所述查询请求消息发送的查询响应消息,所述查询响应消息包括所述数据订阅节点的节点地址;

32、第二发送模块,被配置为根据所述节点地址,将所述目标数据发送至所述数据订阅节点。

33、可选地,所述第二发送模块包括:

34、通信子模块,被配置为根据所述节点地址,与所述数据订阅节点建立通信连接;

35、第一发送子模块,被配置为基于所述通信连接,将所述目标数据发送至所述数据订阅节点。

36、可选地,所述第一发送模块包括:

37、添加子模块,被配置为将所述目标数据类型添加至待查询队列;

38、第二发送子模块,被配置为按照所述待查询队列,依次向所述存储管理器发送查询请求消息。

39、可选地,所述第一发送模块还包括:

40、删除子模块,被配置为在所述目标数据发送成功的情况下,删除所述待查询队列中存储的所述目标数据类型。

41、可选地,所述装置还包括:

42、第三发送模块,被配置为在所述目标数据发送失败的情况下,向所述存储管理器发送指示消息,所述指示消息用于表征所述目标数据未发布;或者,

43、执行模块,被配置为在所述目标数据发送失败的情况下,重新执行根据所述目标数据类型,通过存储管理器获取数据订阅节点的节点地址,至根据所述节点地址,将所述目标数据发送至所述数据订阅节点的步骤。

44、根据本公开实施例的第五方面,提供一种数据处理装置,所述装置包括:

45、第二接收模块,被配置为接收到数据发布节点发送的查询请求消息,所述查询请求消息用于请求查询所述数据订阅节点的节点地址;

46、第一确定模块,被配置为根据所述查询请求消息,确定所述数据订阅节点的节点地址,

47、第三发送模块,被配置为向所述数据发布节点发送查询响应消息,所述查询响应消息包括所述数据订阅节点的节点地址,以便所述数据发布节点根据所述节点地址,将所述目标数据发送至所述数据订阅节点。

48、可选地,所述装置还包括:

49、接收模块,被配置为接收所述数据订阅节点的订阅请求消息,所述订阅请求消息包括所述数据订阅节点订阅的目标数据类型,以及所述数据订阅节点的节点地址;

50、存储模块,被配置为根据所述订阅请求消息,将所述目标数据类型和对应的所述数据订阅节点的节点地址存储至存储管理器。

51、根据本公开实施例的第六方面,提供一种数据处理装置,所述装置被配置为接收数据发布节点根据数据订阅本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述节点地址,将所述目标数据发送至所述数据订阅节点包括:

3.根据权利要求1所述的方法,其特征在于,所述根据所述目标数据类型,向所述存储管理器发送查询请求消息包括:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求1-4中任一项所述的方法,其特征在于,所述方法还包括:

6.一种数据处理方法,其特征在于,所述方法包括:

7.根据权利要求6所述的方法,其特征在于,所述方法还包括:

8.一种数据处理方法,其特征在于,所述方法包括:

9.根据权利要求8所述的方法,其特征在于,所述方法还包括:

10.一种数据处理装置,其特征在于,所述装置包括:

11.一种数据处理装置,其特征在于,所述装置包括:

12.一种数据处理装置,其特征在于,所述装置包括:

13.一种数据处理装置,其特征在于,所述装置包括:

14.一种数据处理系统,其特征在于,所述数据处理系统包括数据发布节点、数据订阅节点,以及存储管理器;

15.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,该程序指令被处理器执行时实现权利要求1-5、权利要求6-7或权利要求8-9中任一项所述方法的步骤。

...

【技术特征摘要】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述节点地址,将所述目标数据发送至所述数据订阅节点包括:

3.根据权利要求1所述的方法,其特征在于,所述根据所述目标数据类型,向所述存储管理器发送查询请求消息包括:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求1-4中任一项所述的方法,其特征在于,所述方法还包括:

6.一种数据处理方法,其特征在于,所述方法包括:

7.根据权利要求6所述的方法,其特征在于,所述方法还包括:

8.一种数据处理方法,其特征在于,所述方...

【专利技术属性】
技术研发人员:郝康康郭斌
申请(专利权)人:北京小米移动软件有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1