一种基于制造技术

本发明专利技术提供一种基于

【技术实现步骤摘要】
一种基于shell脚本的数据采集装载方法及系统


[0001]本专利技术涉及数据处理
，尤其涉及一种基于
shell
脚本的数据采集装载方法及系统
。

技术介绍

[0002]在现有软件系统架构中，对上下游系统数据下发与装载，传统的技术有存储过程
、java
方法进行实现，这也是目前主流的两种实现技术，这两种实现方式稳定可靠，灵活度高
。
[0003]但是，上述数据文件由于数量多
、
数据大
、
上下游数据字典不一
、
且部分数据文件需要归档保留历史等问题，采用传统的技术存在较大的局限性，主要体现在稳定性较差，实现方式不够灵活，维护难度较大
。

技术实现思路

[0004]本专利技术提供一种基于
shell
脚本的数据采集装载方法及系统，用以解决现有技术中上下游数据处理采用传统处理方法不够灵活，稳定性较差的缺陷
。
[0005]第一方面，本专利技术提供一种基于
shell
脚本的数据采集装载方法，包括：
[0006]确定业务配置表装载配置，根据所述业务配置表装载配置采用
shell
主程序进行数据采集与装载，生成数据采集装载脚本；
[0007]利用所述数据采集装载脚本创建数据采集装载文件，基于所述数据采集装载文件对单个待采集装载的数据文件进行调度处理；
[0008]创建
shell
调度脚本文件，基于所述
shell
调度脚本文件和所述数据采集装载文件对多个待采集装载的数据文件进行调度处理
。
[0009]根据本专利技术提供的一种基于
shell
脚本的数据采集装载方法，确定业务配置表装载配置，包括：
[0010]设置
shell
采集装载过程的基础配置文件，所述基础配置文件包括基础配置信息和固定参数配置信息；
[0011]设置装载文件配置表，所述装载文件配置表包括装载文件结构名称
。
[0012]根据本专利技术提供的一种基于
shell
脚本的数据采集装载方法，根据所述业务配置表装载配置采用
shell
主程序进行数据采集与装载，生成数据采集装载脚本，包括：
[0013]设置预设参数变量和系统日期变量；
[0014]确定基础目录存放路径和入参变量状态；
[0015]引入环境变量文件和所述基础配置文件；
[0016]根据传入的第一预设参数和第二预设参数，查询所述业务配置表装载配置需要装载的文件详细内容，初始化装载任务；
[0017]待完成初始化装载任务之后，下载采集数据，生成所述数据采集装载脚本
。
[0018]根据本专利技术提供的一种基于
shell
脚本的数据采集装载方法，利用所述数据采集
装载脚本创建数据采集装载文件，基于所述数据采集装载文件对单个待采集装载的数据文件进行调度处理，包括：
[0019]检验所述数据采集装载文件的参数之后下载数据，对下载数据进行解压缩；
[0020]对解压缩后的文件进行
MD5
检验，待数据合法性验证通过，采用数据泵技术进行数据装载；
[0021]对装载的数据依次进行增量更新
、
字典映射和日切，完成对所述单个待采集装载的数据文件的调度处理
。
[0022]根据本专利技术提供的一种基于
shell
脚本的数据采集装载方法，对装载的数据依次进行增量更新
、
字典映射和日切，包括：
[0023]获取业务全量数据表或历史数据表中的增量数据，采用
merge
技术将所述增量数据合并至全量数据表；
[0024]若确定上游系统的字典参数与当前系统的字典参数不一致，则进行字典映射转化；
[0025]待所有业务处理完成，通过更新配置文件表的对应配置文件记录进行日切操作
。
[0026]根据本专利技术提供的一种基于
shell
脚本的数据采集装载方法，创建
shell
调度脚本文件，基于所述
shell
调度脚本文件和所述数据采集装载文件对多个待采集装载的数据文件进行调度处理，包括：
[0027]将所述
shell
调度脚本文件与所述数据采集装载文件放在同一文件目录下；
[0028]基于所述
shell
调度脚本文件和所述数据采集装载文件，将业务配置表中多个文件进行串联
。
[0029]第二方面，本专利技术还提供一种基于
shell
脚本的数据采集装载系统，包括：
[0030]确定模块，用于确定业务配置表装载配置，根据所述业务配置表装载配置采用
shell
主程序进行数据采集与装载，生成数据采集装载脚本；
[0031]第一采集装载模块，用于利用所述数据采集装载脚本创建数据采集装载文件，基于所述数据采集装载文件对单个待采集装载的数据文件进行调度处理；
[0032]第二采集装载模块，用于创建
shell
调度脚本文件，基于所述
shell
调度脚本文件和所述数据采集装载文件对多个待采集装载的数据文件进行调度处理
。
[0033]第三方面，本专利技术还提供一种电子设备，包括存储器
、
处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于
shell
脚本的数据采集装载方法
。
[0034]第四方面，本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于
shell
脚本的数据采集装载方法
。
[0035]第五方面，本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于
shell
脚本的数据采集装载方法
。
[0036]本专利技术提供的基于
shell
脚本的数据采集装载方法及系统，通过
shell
脚本实现解决该类数据问题相对
java
语言实现效率更为快捷高效，且部署更方便，对环境要求更低运行更快
。
附图说明
[0037]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图
。
[0038]图1是本专利技术提供的基于
shell...

【技术保护点】

【技术特征摘要】
1.
一种基于
shell
脚本的数据采集装载方法，其特征在于，包括：确定业务配置表装载配置，根据所述业务配置表装载配置采用
shell
主程序进行数据采集与装载，生成数据采集装载脚本；利用所述数据采集装载脚本创建数据采集装载文件，基于所述数据采集装载文件对单个待采集装载的数据文件进行调度处理；创建
shell
调度脚本文件，基于所述
shell
调度脚本文件和所述数据采集装载文件对多个待采集装载的数据文件进行调度处理
。2.
根据权利要求1所述的基于
shell
脚本的数据采集装载方法，其特征在于，确定业务配置表装载配置，包括：设置
shell
采集装载过程的基础配置文件，所述基础配置文件包括基础配置信息和固定参数配置信息；设置装载文件配置表，所述装载文件配置表包括装载文件结构名称
。3.
根据权利要求2所述的基于
shell
脚本的数据采集装载方法，其特征在于，根据所述业务配置表装载配置采用
shell
主程序进行数据采集与装载，生成数据采集装载脚本，包括：设置预设参数变量和系统日期变量；确定基础目录存放路径和入参变量状态；引入环境变量文件和所述基础配置文件；根据传入的第一预设参数和第二预设参数，查询所述业务配置表装载配置需要装载的文件详细内容，初始化装载任务；待完成初始化装载任务之后，下载采集数据，生成所述数据采集装载脚本
。4.
根据权利要求1所述的基于
shell
脚本的数据采集装载方法，其特征在于，利用所述数据采集装载脚本创建数据采集装载文件，基于所述数据采集装载文件对单个待采集装载的数据文件进行调度处理，包括：检验所述数据采集装载文件的参数之后下载数据，对下载数据进行解压缩；对解压缩后的文件进行
MD5
检验，待数据合法性验证通过，采用数据泵技术进行数据装载；对装载的数据依次进行增量更新
、
字典映射和日切，完成对所述单个待采集装载的数据文件的调度处理
。5.
根据权利要求4所述的基于
shell
脚本的数据采集装载方法，其特征在于，对装载的数据依次进行增量更新
、
字典映射和日切，...

【专利技术属性】
技术研发人员：段小武，彭磊，杨志文，
申请(专利权)人：武汉众邦银行股份有限公司，
类型：发明
国别省市：