数据汇聚方法及装置、设备、存储介质制造方法及图纸

本申请提供了数据汇聚方法及装置、设备、存储介质；所述方法包括：从任务配置表中获取汇聚任务的任务参数；其中，所述任务参数包括为应用方的接口配置的接口请求参数和待汇聚表字段的第一对象路径；所述第一对象路径是根据响应报文中所述待汇聚表字段对应的属性名所在的第一对象与所述第一对象的第一目标上层对象之间的循环嵌套关系定义的；根据所述接口请求参数，接收所述应用方发送的至少一个所述响应报文；根据所述第一对象路径，提取所述响应报文中所述属性名的属性值；根据所述待汇聚表字段和所述属性值，生成汇聚表格；如此，能够缩短汇聚任务的周期，简化数据汇聚的方式以及能够将任一格式的响应报文转换为汇聚表格以提高数据汇聚的效率。以提高数据汇聚的效率。以提高数据汇聚的效率。

【技术实现步骤摘要】
数据汇聚方法及装置、设备、存储介质


[0001]本申请涉及数据采集技术，涉及但不限于数据汇聚方法及装置、设备、存储介质。

技术介绍

[0002]数据中台策略的基本理念是将所有数据汇聚到数据中台，对数据进行清洗、标准化后，便于各应用直接从中台获取数据，从而打通数据孤岛。其中的数据汇聚部分起到了呈上启下的关键作用，其难点在于，需要汇聚的数据源不仅存储格式多样化，提供的数据获取方式同样灵活多变，目前较为成熟的数据获取方式包括数据库链接直接获取结构化数据、逗号分隔值(Comma
‑
Separated Values，CSV)或表格格式的离线文件导入等方式，然而，通过上述方式获取应用方的数据过于繁琐且不够灵活，降低了数据汇聚的效率。

技术实现思路

[0003]有鉴于此，本申请提供的数据汇聚方法及装置、设备、存储介质，能够缩短汇聚任务的周期，简化数据汇聚的方式以及能够将任一格式的响应报文转换为汇聚表格以提高数据汇聚的效率。
[0004]根据本申请实施例的一个方面，提供一种数据汇聚方法，包括：从任务配置表中获取汇聚任务的任务参数；其中，所述任务参数包括为应用方的接口配置的接口请求参数和待汇聚表字段的第一对象路径；所述第一对象路径是根据响应报文中所述待汇聚表字段对应的属性名所在的第一对象与所述第一对象的第一目标上层对象之间的循环嵌套关系定义的；根据所述接口请求参数，接收所述应用方发送的至少一个所述响应报文；根据所述第一对象路径，提取所述响应报文中所述属性名的属性值；根据所述待汇聚表字段和所述属性值，生成汇聚表格。
[0005]根据本申请实施例的一个方面，提供一种数据汇聚装置，包括：获取模块，用于从任务配置表中获取汇聚任务的任务参数；其中，所述任务参数包括为应用方的接口配置的接口请求参数和待汇聚表字段的第一对象路径；所述第一对象路径是根据响应报文中所述待汇聚表字段对应的属性名所在的第一对象与所述第一对象的第一目标上层对象之间的循环嵌套关系定义的；接收模块，用于根据所述接口请求参数，接收所述应用方发送的至少一个所述响应报文；提取模块，用于根据所述第一对象路径，提取所述响应报文中所述属性名的属性值；第一生成模块，用于根据所述待汇聚表字段和所述属性值，生成汇聚表格。
[0006]根据本申请实施例的一个方面，提供一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请实施例所述的方法。
[0007]根据本申请实施例的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例提供的所述的方法。
[0008]在本申请实施例中，一方面，在执行汇聚任务前定义了任务配置表，从而能够在每次执行汇聚任务时直接从任务配置表中获取汇聚任务所需任务参数，而不用在每次汇聚任
务前先配置任务参数再执行汇聚任务，缩短了每次汇聚任务的任务周期，从而提高了数据汇聚的效率；另一方面，任务参数中包括了为应用方的接口配置的接口请求参数，即在本申请中，实现数据汇聚的手段是为应用方的接口配置其适用的接口请求参数，从而可以通过调用其接口获取应用方的数据，而不需要应用方和汇聚方双方约定或者定制化数据获取方式，简化了从应用方获取数据的方式，进一步提高了数据汇聚的效率；再一方面，任务参数中还包括根据响应报文中对象的循环嵌套关系定义的第一对象路径，由于第一对象路径的定义方式和响应报文的格式无关，因此，可以通过该定义第一对象路径的方式提取出任一格式的请求报文中的待汇聚表字段以生成汇聚表格，而不用为每一格式的请求报文定义不同的汇聚方式，从而减少了汇聚任务的任务量，更进一步地提高了数据汇聚效率。
[0009]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0010]此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0011]附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
[0012]图1为本申请实施例提供的数据汇聚方法的实现流程示意图；
[0013]图2为为本申请实施例提供的响应报文的示意图；
[0014]图3为为本申请实施例提供的另一响应报文的示意图；
[0015]图4为为本申请实施例提供的又一响应报文的示意图；
[0016]图5为为本申请实施例提供的再一响应报文的示意图；
[0017]图6为本申请实施例提供的数据汇聚方法的实现流程示意图；
[0018]图7为本申请实施例提供的一种请求报文的示意图；
[0019]图8为本申请实施例提供的首次发送的第一请求报文对应的响应报文的示意图；
[0020]图9为本申请实施例提供的第二次发送的第一请求报文的示意图；
[0021]图10为本申请实施例提供的第二次发送的第一请求报文对应的响应报文的示意图；
[0022]图11为本申请实施例提供的基于超文本传输协议(Hyper Text Transfer Protocol，HTTP)接口汇聚作业模块实现HTTP类型的数据源管理与配置的示意图；
[0023]图12为本申请实施例提供的HTTP接口基本信息配置示意图；
[0024]图13为本申请实施例提供的接口请求分页参数的配置示意图；
[0025]图14为本申请实施例提供的HTTP接口增量参数配置示意图；
[0026]图15为本申请实施例提供的应用程序接口(Application Programming Interface，API)汇聚任务定时器配置示意图；
[0027]图16为本申请实施例提供的数据汇聚方法的实现流程示意图；
[0028]图17为本申请实施例提供的接口请求参数的配置示意图；
[0029]图18为本申请实施例提供的下一次汇聚任务的请求报文的示意图；
[0030]图19为本申请实施例提供的一种数据汇聚装置的结构示意图；
[0031]图20为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
[0032]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
[0033]除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据汇聚方法，其特征在于，所述方法包括：从任务配置表中获取汇聚任务的任务参数；其中，所述任务参数包括为应用方的接口配置的接口请求参数和待汇聚表字段的第一对象路径；所述第一对象路径是根据响应报文中所述待汇聚表字段对应的属性名所在的第一对象与所述第一对象的第一目标上层对象之间的循环嵌套关系定义的；根据所述接口请求参数，接收所述应用方发送的至少一个所述响应报文；根据所述第一对象路径，提取所述响应报文中所述属性名的属性值；根据所述待汇聚表字段和所述属性值，生成汇聚表格。2.根据权利要求1所述的方法，其特征在于，所述接口请求参数包括以下至少之一：接口请求基本参数；所述接口请求基本参数包括：请求类型、身份认证方式、身份认证信息、响应格式和所述应用方的接口地址中的至少之一；接口请求分页参数；所述接口请求分页参数包括所述响应报文的每页记录数、每次请求返回的响应报文的页码、应用方在所述汇聚任务中发送的总记录数在所述响应报文中的第一字段路径、所述汇聚任务的报文页码阈值和分页结束条件中的至少之一；接口请求增量参数；所述接口请求增量参数包括目标增量值在所述响应报文中的第二字段路径和起始增量值中的至少之一。3.根据权利要求2所述的方法，其特征在于，所述根据所述接口请求参数，接收所述应用方发送的至少一个所述响应报文，包括：根据所述接口请求基本参数、所述每页记录数、本次请求返回的响应报文的页码和所述起始增量值，生成第一请求报文；在已接收的所述应用方根据所述第一请求报文发送的响应报文未满足所述分页结束条件的情况下，重新生成第一请求报文；接收所述应用方基于所述重新生成的所述第一请求报文发送的响应报文。4.根据权利要求2所述的方法，其特征在于，所述方法还包括：在已接收的响应报文满足所述分页结束条件的情况下，根据所述第二字段路径，确定本次接收的响应报文中的目标增量值；将所述目标增量值作为下次执行汇聚任务时所需的起始增量值更新至所述任务配置表。5.根据权利要求2至4任一项所述的方法，其特征在于，所述分页结束条件包括以下至少之一：已接收的至少一个响应报文中的记录数之和大于或者等于所述总记录数；其中，所述总记录数是根据所述第一字段路径确定的；本次接收的所述响应报文中的记录数为0；本次接收的所述响应报文的页码等于所述报文页码阈值。6.根据权利要求1至4任一项所述的方法，其特征在...

【专利技术属性】
技术研发人员：张知弦，刘朋，柏银，唐丽娜，杨开睿，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：