一种数据采集与治理工具业务化的方法技术

本发明专利技术特别涉及一种数据采集与治理工具业务化的方法。该数据采集与治理工具业务化的方法，将数据采集流程拆分为若干个数据采集组件，将各个数据治理流程拆分为若干个数据治理任务，将各个数据治理任务进一步拆分为若干个数据治理组件，并根据用户需求进行个性化流程编排；各个数据治理组件执行对应的操作，产生的处理数据之间的数据流转产生最终的成果数据，结合业务信息即可为上层分析和决策提供最直观和有利的辅助。该数据采集与治理工具业务化的方法，以业务为中心，将业务流程的实施和操作具体化到各个组件的运行或一套组件的协作运行中来，简化了数据采集和治理流程，降低了业务和操作人员实施难度，更加适应当前采集和治理场景。和治理场景。和治理场景。

【技术实现步骤摘要】
一种数据采集与治理工具业务化的方法


[0001]本专利技术涉及Java Web应用开发
，特别涉及一种数据采集与治理工具业务化的方法。

技术介绍

[0002]新一代信息技术与生产、生活领域相互渗透、深度融合，深刻地改变了人们的生产生活方式和社会组织模式。为了信息社会发展和治理，迫切的需要一种新的数据治的模式和工具来推动时代和社会发展的需求。要求打破过去部门间的数据烟囱、信息孤岛，促进各个部门间的整合与协作。同时，数字建设不仅要以数据为基础，更需要各类数据之间的融合，真正形成“大数据”。这极大地促进了社会和市场之间关系的整合能力。
[0003]数据采集和治理工具，应用场景复杂，涉及技术的广泛，在现在的采集和治理工具中，对业务人员的技术水平有了更高的要求，对现有工具进行场景的划分和对工具的业务化成为了采集和治理的关键问题。
[0004]传统的数据采集和治理需要以对数据库的直接操作、正则表达式、文件导入、人工比对等方式对数据进行采集和治理，依赖于业务人员的操作。业务流程较长，设计复杂。
[0005]为了降低业务和操作人员实施难度，本专利技术提出了一种数据采集与治理工具业务化的方法。

技术实现思路

[0006]本专利技术为了弥补现有技术的缺陷，提供了一种简单高效的数据采集与治理工具业务化的方法。
[0007]本专利技术是通过如下技术方案实现的：
[0008]一种数据采集与治理工具业务化的方法，其特征在于：包括以下步骤：
[0009]第一步，将数据采集流程拆分为若干个数据采集组件，并根据用户需求进行个性化流程编排；
[0010]第二步，将各个数据治理流程拆分为若干个数据治理任务，将各个数据治理任务进一步拆分为若干个数据治理组件，并根据用户需求进行个性化流程编排；
[0011]第三步，各个数据治理组件执行对应的操作，产生的处理数据之间的数据流转产生最终的成果数据，结合业务信息即可为上层分析和决策提供最直观和有利的辅助。
[0012]所述第一步中，数据采集组件分为常规组件和高级组件，明确数据采集需求后，选择需要的数据采集组件进行流程设计。
[0013]所述常规组件包括但不限于表抽取组件、正常表写入组件、问题表写入组件、表删除组件、表回写组件、EXCEL文件输入组件、TXT文件输入组件、CSV文件输入组件、EXCEL 文件输出组件、TXT文件输出组件和CSV文件输出组件；
[0014]所述高级组件包括但不限于JSON文件输入组件、JSON文件输出组件、Xml文件输出组件、MQ输入组件、HTTP输入组件和WEBSERVICER采集组件。
[0015]所述第一步中，当有采集任务需求时，根据需求选择对应的数据采集组件，并以拖拉拽的方式组合选中的数据采集组件，实现对采集过程的流程编排。
[0016]所述第二步中，数据治理组件包括但不限于数据拆分组件、字符替换组件、空格处理组件、符号处理组件、全角转半角组件、字典转换组件、字段新增组件、字段补齐组件、字段补正组件和关联抽取组件。
[0017]所述第二步中，明确数据治理需求后，按照业务流程对需要的数据治理组件进行流程设计，并以拖拉拽的方式组合选中的数据治理组件，实现对数据治理过程的流程编排。
[0018]所述第三步中，数据采集组件完成数据采集之后，将采集的数据路由到各个数据治理组件中，最后将数据治理组件的成果数据通过正常表写入组件输出到指定的数据表中，进行分析和统计。
[0019]本专利技术的有益效果是：该数据采集与治理工具业务化的方法，以业务为中心，将业务流程的实施和操作具体化到各个组件的运行或一套组件的协作运行中来，简化了数据采集和治理流程，降低了业务和操作人员实施难度，更加适应当前采集和治理场景。
附图说明
[0020]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021]附图1为本专利技术对数据采集与治理进行流程编排的操作界面示意图。
具体实施方式
[0022]为了使本
的人员更好的理解本专利技术中的技术方案，下面将结合本专利技术实施例，对本专利技术实施例中的技术方案进行清楚，完整的描述。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0023]该数据采集与治理工具业务化的方法，包括以下步骤：
[0024]第一步，将数据采集流程拆分为若干个数据采集组件，并根据用户需求进行个性化流程编排；
[0025]第二步，将各个数据治理流程拆分为若干个数据治理任务，将各个数据治理任务进一步拆分为若干个数据治理组件，并根据用户需求进行个性化流程编排；
[0026]第三步，各个数据治理组件执行对应的操作，产生的处理数据之间的数据流转产生最终的成果数据，结合业务信息即可为上层分析和决策提供最直观和有利的辅助。
[0027]所述第一步中，数据采集组件分为常规组件和高级组件，明确数据采集需求后，选择需要的数据采集组件进行流程设计。
[0028]所述常规组件包括但不限于表抽取组件、正常表写入组件、问题表写入组件、表删除组件、表回写组件、EXCEL文件输入组件、TXT文件输入组件、CSV文件输入组件、EXCEL 文件输出组件、TXT文件输出组件和CSV文件输出组件；
[0029]所述高级组件包括但不限于JSON文件输入组件、JSON文件输出组件、Xml文件输出
组件、MQ输入组件、HTTP输入组件和WEBSERVICER采集组件。
[0030]所述第一步中，当有采集任务需求时，根据需求选择对应的数据采集组件，并以拖拉拽的方式组合选中的数据采集组件，实现对采集过程的流程编排。
[0031]数据采集组件支持从库表、文件等多种数据记录方式中读取数据，也支持从一个数据库抽取多张表的场景，从业务上个性化对采集过程进行流程编排。
[0032]表1数据采集组件清单
[0033][0034][0035]当有采集任务需求时，可以对表1中的数据采集组件进行设计，以拖拉拽的方式组合组件来实现。例如：
[0036]当需要从中心库抽取多张表到业务库时，可以将两个表抽取组件配置属性之后，同时连接到正常表写入组件。
[0037]所述第二步中，数据治理组件包括但不限于数据拆分组件、字符替换组件、空格处理组件、符号处理组件、全角转半角组件、字典转换组件、字段新增组件、字段补齐组件、字
段补正组件和关联抽取组件。
[0038]所述第二步中，明确数据治理需求后，按照业务流程对需要的数据治理组件进行流程设计，并以拖拉拽的方式组合选中的数据治理组件，实现对数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据采集与治理工具业务化的方法，其特征在于：包括以下步骤：第一步，将数据采集流程拆分为若干个数据采集组件，并根据用户需求进行个性化流程编排；第二步，将各个数据治理流程拆分为若干个数据治理任务，将各个数据治理任务进一步拆分为若干个数据治理组件，并根据用户需求进行个性化流程编排；第三步，各个数据治理组件执行对应的操作，产生的处理数据之间的数据流转产生最终的成果数据，结合业务信息即可为上层分析和决策提供最直观和有利的辅助。2.根据权利要求1所述的数据采集与治理工具业务化的方法，其特征在于：所述第一步中，数据采集组件分为常规组件和高级组件，明确数据采集需求后，选择需要的数据采集组件进行流程设计。3.根据权利要求2所述的数据采集与治理工具业务化的方法，其特征在于：所述常规组件包括但不限于表抽取组件、正常表写入组件、问题表写入组件、表删除组件、表回写组件、EXCEL文件输入组件、TXT文件输入组件、CSV文件输入组件、EXCEL文件输出组件、TXT文件输出组件和CSV文件输出组件。4.根据权利要求2所述的数据采集与治理工具业务化的方法，其特征在于：所述高级组件包括但不限于JSON文件输入组件、JSON文件输出...

【专利技术属性】
技术研发人员：连鹏，李连伟，闵宪伟，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：