本公开提供了一种数据处理方法，包括响应于获取到数据变化信息，确定数据变化信息中的目标数据标识和目标数据；基于目标数据标识，确定与目标数据相关的至少一个目标数据库和多个目标表，其中，该多个目标表位于该至少一个目标数据库中；确定目标数据的计划组和数据导出模板，其中，计划组包括多个任务以及多个任务彼此之间的执行逻辑；按照执行逻辑，根据该至少一个目标数据库和该多个目标表执行多个任务而获得多个中间数据；以及基于多个中间数据和数据导出模板，输出结果数据，其中，数据导出模板指示了中间数据和结果数据之间的映射关系。本公开还提供了一种数据处理装置、电子设备和介质。子设备和介质。子设备和介质。
【技术实现步骤摘要】
数据处理方法、装置、电子设备和介质
[0001]本公开涉及电子
，更具体地，涉及一种数据处理方法、装置、电子设备和介质。
技术介绍
[0002]业务数据的沉淀是日积月累的过程，会产生千万甚至上亿的数据，业务结合自身规律会将数据的不同字段拆分成多个不同的数据表。基于日常运营的需要，对数据的查询和跨库、跨表的查询自然是免不了的。
[0003]在实现本公开构思的过程中，专利技术人发现相关技术中至少存在如下问题：跨库或者跨表等多源数据的整合不够便捷。
技术实现思路
[0004]有鉴于此，本公开提供了一种数据处理方法、装置、电子设备和介质。
[0005]本公开的一个方面提供了一种数据处理方法，包括：响应于获取到数据变化信息，确定所述数据变化信息中的目标数据标识和目标数据；基于所述目标数据标识，确定与所述目标数据相关的至少一个目标数据库和多个目标表，其中，所述多个目标表位于所述至少一个目标数据库中；确定所述目标数据的计划组和数据导出模板，其中，所述计划组包括多个任务以及所述多个任务彼此之间的执行逻辑；按照所述执行逻辑，根据所述至少一个目标数据库和所述多个目标表执行所述多个任务而获得多个中间数据；以及基于所述多个中间数据和所述数据导出模板，输出结果数据，其中，所述数据导出模板指示了所述中间数据和所述结果数据之间的映射关系。
[0006]根据本公开的实施例，数据变化信息存储于挂起队列中，该方法还包括：从所述挂起队列中获取所述数据变化信息，并将所述数据变化信息加入到执行队列中，以对所述数据变化信息进行处理而输出所述数据变化信息的所述结果数据；以及在所述数据变化信息加入到所述执行队列之后，删除所述挂起队列中的所述数据变化信息，以及在确定所述数据变化信息的所述结果数据之后，删除所述执行队列中的所述数据变化信息。
[0007]根据本公开的实施例，该方法还包括确定所述挂起队列中的数据变化信息的信息数量；在确定所述信息数量大于第一阈值的情况下，将所述挂起队列中的部分数据变化信息存储到临时数据库中；以及周期性地从所述临时数据库中获取所述数据变化信息，以便在所述挂起队列中的信息数量小于等于所述第一阈值的情况下，将所述数据变化信息加入所述挂起队列中。
[0008]根据本公开的实施例，该方法还包括确定所述执行队列中是否存在执行次数大于第二阈值和/或处理时间大于第三阈值的异常数据变化信息；以及在确定存在执行次数大于第二阈值和/或处理时间大于第三阈值的异常数据变化信息的情况下，将所述异常数据变化信息存储到异常任务队列中，并触发报警。
[0009]根据本公开的实施例，数据导出模板包括所述映射关系和多个结果字段，所述基
于所述多个中间数据和所述数据导出模板，输出结果数据包括：按照所述映射关系，对所述多个中间数据进行计算而获得多个结果数据；确定所述多个结果字段中每个结果字段对应的结果数据；以及按照所述数据导出模板所指示的输出格式，输出所述结果数据。
[0010]本公开的另一个方面提供了一种数据处理装置，包括：第一确定模块，用于响应于获取到数据变化信息，确定所述数据变化信息中的目标数据标识和目标数据；第二确定模块，用于基于所述目标数据标识，确定与所述目标数据相关的至少一个目标数据库和当前多个目标表，其中，所述多个目标表位于所述至少一个目标数据库中；第三确定模块，用于确定所述目标数据的计划组和数据导出模板，其中，所述计划组包括多个任务以及所述多个任务彼此之间的执行逻辑；执行模块，用于按照所述执行逻辑，根据所述至少一个目标数据库和所述多个目标表执行所述多个任务而获得多个中间数据；以及输出模块，用于基于所述多个中间数据和所述数据导出模板，输出结果数据，其中，所述数据导出模板指示了所述中间数据和所述结果数据之间的映射关系。
[0011]根据本公开的实施例，数据变化信息存储于挂起队列中，所述装置还包括：第一处理模块，用于从所述挂起队列中获取所述数据变化信息，并将所述数据变化信息加入到执行队列中，以对所述数据变化信息进行处理而输出所述数据变化信息的所述结果数据；以及删除模块，用于在所述数据变化信息加入到所述执行队列之后，删除所述挂起队列中的所述数据变化信息，以及在确定所述数据变化信息的所述结果数据之后，删除所述执行队列中的所述数据变化信息。
[0012]根据本公开的实施例，该装置还包括：第四确定模块，用于确定所述挂起队列中的数据变化信息的信息数量；存储模块，用于在确定所述信息数量大于第一阈值的情况下，将所述挂起队列中的部分数据变化信息存储到临时数据库中；以及第二处理模块，用于周期性地从所述临时数据库中获取所述数据变化信息，以便在所述挂起队列中的信息数量小于等于所述第一阈值的情况下，将所述数据变化信息加入所述挂起队列中。
[0013]本公开的另一方面提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行上述的方法。
[0014]本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
[0015]本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
[0016]根据本公开的实施例，该数据处理方法将获取数据和数据处理过程分离，将数据处理过程中变动的量，即查什么数据，多源数据怎么结合，结果以什么形式输出，抽离成配置保存在数据库中，不同的业务有各自不同的配置，只需要一套统一的流程就能获得查询数据，提高了查询程序的复用性，从而提高了多源数据查询的便捷性。
附图说明
[0017]通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
[0018]图1示意性示出了根据本公开实施例的可以应用数据处理方法的示例性应用；
[0019]图2示意性示出了根据本公开实施例的数据处理方法的流程图；
[0020]图3示意性示出了根据本公开另一实施例的数据处理方法；
[0021]图4示意性示出了根据本公开另一实施例的数据处理方法的流程图；
[0022]图5示意性示出了根据本公开另一实施例的数据处理方法的流程图；
[0023]图6示意性示出了根据本公开实施例的数据处理装置的框图；以及
[0024]图7示意性示出了根据本公开实施例的电子设备的方框图。
具体实施方式
[0025]以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
[0026]在此使用的术语仅仅是为了描述具体实施本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，包括：响应于获取到数据变化信息，确定所述数据变化信息中的目标数据标识和目标数据；基于所述目标数据标识，确定与所述目标数据相关的至少一个目标数据库和多个目标表，其中，所述多个目标表位于所述至少一个目标数据库中；确定所述目标数据的计划组和数据导出模板，其中，所述计划组包括多个任务以及所述多个任务彼此之间的执行逻辑；按照所述执行逻辑，根据所述至少一个目标数据库和所述多个目标表执行所述多个任务而获得多个中间数据；以及基于所述多个中间数据和所述数据导出模板，输出结果数据，其中，所述数据导出模板指示了所述中间数据和所述结果数据之间的映射关系。2.根据权利要求1所述的方法，其中，所述数据变化信息存储于挂起队列中，所述方法还包括：从所述挂起队列中获取所述数据变化信息，并将所述数据变化信息加入到执行队列中，以对所述数据变化信息进行处理而输出所述数据变化信息的所述结果数据；以及在所述数据变化信息加入到所述执行队列之后，删除所述挂起队列中的所述数据变化信息，以及在确定所述数据变化信息的所述结果数据之后，删除所述执行队列中的所述数据变化信息。3.根据权利要求2所述的方法，所述方法还包括：确定所述挂起队列中的数据变化信息的信息数量；在确定所述信息数量大于第一阈值的情况下，将所述挂起队列中的部分数据变化信息存储到临时数据库中；以及周期性地从所述临时数据库中获取所述数据变化信息，以便在所述挂起队列中的信息数量小于等于所述第一阈值的情况下，将所述数据变化信息加入所述挂起队列中。4.根据权利要求2所述的方法，还包括：确定所述执行队列中是否存在执行次数大于第二阈值和/或处理时间大于第三阈值的异常数据变化信息；以及在确定存在执行次数大于第二阈值和/或处理时间大于第三阈值的异常数据变化信息的情况下，将所述异常数据变化信息存储到异常任务队列中，并触发报警。5.根据权利要求1所述的方法，其中，所述数据导出模板包括所述映射关系和多个结果字段，所述基于所述多个中间数据和所述数据导出模板，输出结果数据包括：按照所述映射关系，对所述多个中间数据进行计算而获得多个结果数据；确定所述多个结果字段中每个结果字段对应的结果数据；以及按照所述数据导...
【专利技术属性】
技术研发人员：邢永山，夏辉，庞旭，
申请(专利权)人：北京同邦卓益科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。