基于视图配置的大数据文件加载方法及装置制造方法及图纸

本发明专利技术涉及大数据技术领域，提供一种基于视图配置的大数据文件加载方法及装置，该方法包括：获取上游服务器发送的待导入文本文件；获取预先配置的视图，所述预先配置的视图中配置信息包括：与所述上游服务器约定的待导入文本文件的文件格式

【技术实现步骤摘要】
基于视图配置的大数据文件加载方法及装置


[0001]本专利技术涉及大数据
，尤其涉及一种基于视图配置的大数据文件加载方法及装置
。

技术介绍

[0002]目前，在大数据处理平台对数据进行处理分析时，首先就需要将上游服务器下发的数据文本
(
由于上游服务器中数据库不一致
、
上游服务器和下游服务器不在同一机房
、
下游服务器没有权限访问上游服务器中数据库等原因需要以数据文本形式下发
)
导入大数据平台的数据库
。
往往由于数据文本对应表的数据结构复杂
、
数据文本的多样性
、
代码量大
、
代码冗余度高
、
导入大数据平台中数据库的过程自动化程度低及可视化程度低等问题，严重的影响了程序员的开发效率以及后续的代码复用
。
[0003]而业内尚不存在可视化文件加载系统，因此，如何实现一种高效的
、
可视化程度高的文件加载技术是目前业界内亟待解决的技术问题
。

技术实现思路

[0004]本专利技术提供一种基于视图配置的大数据文件加载方法及装置，用以解决现有技术中由于数据文本对应表的数据结构复杂
、
数据文本的多样性
、
代码量大
、
代码冗余度高
、
导入大数据平台的数据库后自动化程度低等原因导致的程序员的开发效率低和代码复用性差的问题
。r/>[0005]本专利技术提供一种基于视图配置的大数据文件加载方法，包括：
[0006]获取上游服务器发送的待导入文本文件；
[0007]获取预先配置的视图，所述预先配置的视图中配置信息包括：与所述上游服务器约定的待导入文本文件的文件格式
、
数据结构
、
数据处理逻辑及系统变量；
[0008]基于所述文件格式
、
数据结构
、
数据处理逻辑
、
系统变量及所述待导入文本文件生成可执行脚本文件；
[0009]将所述待导入文本文件和所述可执行脚本文件发送至大数据平台，所述可执行脚本文件用于在大数据平台执行时将所述待导入文本文件的数据导入大数据平台的数据库
。
[0010]根据本专利技术提供的一种基于视图配置的大数据文件加载方法，所述视图包括：文件视图
、
结构视图
、
打包视图和运行视图；所述文件视图用于配置文件格式，所述结构视图用于配置所述数据结构
、
所述数据处理逻辑和系统变量，所述打包视图用于配置所述结构视图中系统变量的变量值，所述运行视图用于根据预设参数组装脚本文件，
[0011]基于所述文件格式
、
数据结构
、
数据处理逻辑
、
系统变量及所述待导入文本文件生成可执行脚本文件，包括：
[0012]基于所述文件视图中配置的文件格式生成用于解析所述待导入文本文件的解析规则；
[0013]基于所述结构视图中配置的数据结构
、
数据处理逻辑和系统变量生成
SQL
语句；
[0014]拼接所述解析规则和所述
SQL
语句，并基于打包视图中配置的变量值为
SQL
语句中的系统变量赋值，以得到数据导入规则；
[0015]基于所述数据导入规则和所述运行视图中的预设参数，组装所述可执行脚本文件
。
[0016]根据本专利技术提供的一种基于视图配置的大数据文件加载方法，所述结构视图还用于配置自定义变量，所述打包视图还用于配置所述结构视图中自定义变量的变量值；
[0017]在拼接所述解析规则和所述
SQL
语句之后，还包括：基于打包视图中配置的自定义变量的变量值为
SQL
语句中的自定义变量赋值
。
[0018]根据本专利技术提供的一种基于视图配置的大数据文件加载方法，基于所述数据导入规则和所述运行视图中的预设参数，组装所述可执行脚本文件，包括：
[0019]在所述数据导入规则的基础上增加后续处理数据结构中数据字段需要的预设方法包以及异常检测程序，得到目标导入规则；
[0020]基于目标导入规则和所述运行视图中的预设参数，组装所述可执行脚本文件
。
[0021]根据本专利技术提供的一种基于视图配置的大数据文件加载方法，获取上游服务器发送的待导入文本文件，包括：
[0022]循环查询接收文件夹中是否收到所述待导入文本文件；
[0023]在收到所述待导入文本文件的情况下，将待导入文本文件的文件信息存储在文件状态配置表中，所述文件信息包括：文件名
、
接收时间和当前状态，并将所述当前状态置为初始化状态；
[0024]查询所述文件状态配置表，在所述文件状态配置表中查询到所述待导入文本文件的情况下，将所述当前状态置为运行状态
。
[0025]根据本专利技术提供的一种基于视图配置的大数据文件加载方法，在所述文件状态配置表中查询到所述待导入文本文件之后，还包括：将所述待导入文本文件存储至备份文件夹
。
[0026]根据本专利技术提供的一种基于视图配置的大数据文件加载方法，将所述待导入文本文件和所述可执行脚本文件发送至大数据平台，包括：
[0027]获取所述大数据平台中常驻进程的标识，以及大数据平台中用于存储所述待导入文本文件的预设存储空间的存储地址；
[0028]将所述存储地址写入所述可执行脚本文件；
[0029]将所述可执行脚本文件发送至所述标识对应的常驻进程中运行，将所述待导入文本文件发送至所述预设存储空间存储
。
[0030]本专利技术还提供一种基于视图配置的大数据文件加载装置，包括：
[0031]文件获取模块，用于获取上游服务器发送的待导入文本文件；
[0032]视图获取模块，用于获取预先配置的视图，所述预先配置的视图中配置信息包括：与所述上游服务器约定的待导入文本文件的文件格式
、
数据结构
、
数据处理逻辑及系统变量；
[0033]脚本文件生成模块，用于基于所述文件格式
、
数据结构
、
数据处理逻辑
、
系统变量及所述待导入文本文件生成可执行脚本文件；
[0034]脚本文件发送模块，用于将所述待导入文本文件和所述可执行脚本文件发送至大
数据平台，所述可执行脚本文件用于在大数据平台执行时将所述待导入文本文件的数据导入大数据平台的数据库
。
[0035]本专利技术还提供一种电子设备，包括存储器
、
处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述的基于视图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于视图配置的大数据文件加载方法，其特征在于，包括：获取上游服务器发送的待导入文本文件；获取预先配置的视图，所述预先配置的视图中配置信息包括：与所述上游服务器约定的待导入文本文件的文件格式
、
数据结构
、
数据处理逻辑及系统变量；基于所述文件格式
、
数据结构
、
数据处理逻辑
、
系统变量及所述待导入文本文件生成可执行脚本文件；将所述待导入文本文件和所述可执行脚本文件发送至大数据平台，所述可执行脚本文件用于在大数据平台执行时将所述待导入文本文件的数据导入大数据平台的数据库
。2.
根据权利要求1所述的基于视图配置的大数据文件加载方法，其特征在于，所述视图包括：文件视图
、
结构视图
、
打包视图和运行视图；所述文件视图用于配置文件格式，所述结构视图用于配置所述数据结构
、
所述数据处理逻辑和系统变量，所述打包视图用于配置所述结构视图中系统变量的变量值，所述运行视图用于根据预设参数组装脚本文件，基于所述文件格式
、
数据结构
、
数据处理逻辑
、
系统变量及所述待导入文本文件生成可执行脚本文件，包括：基于所述文件视图中配置的文件格式生成用于解析所述待导入文本文件的解析规则；基于所述结构视图中配置的数据结构
、
数据处理逻辑和系统变量生成
SQL
语句；拼接所述解析规则和所述
SQL
语句，并基于打包视图中配置的变量值为
SQL
语句中的系统变量赋值，以得到数据导入规则；基于所述数据导入规则和所述运行视图中的预设参数，组装所述可执行脚本文件
。3.
根据权利要求2所述的基于视图配置的大数据文件加载方法，其特征在于，所述结构视图还用于配置自定义变量，所述打包视图还用于配置所述结构视图中自定义变量的变量值；在拼接所述解析规则和所述
SQL
语句之后，还包括：基于打包视图中配置的自定义变量的变量值为
SQL
语句中的自定义变量赋值
。4.
根据权利要求2所述的基于视图配置的大数据文件加载方法，其特征在于，基于所述数据导入规则和所述运行视图中的预设参数，组装所述可执行脚本文件，包括：在所述数据导入规则的基础上增加后续处理数据结构中数据字段需要的预设方法包以及异常检测程序，得到目标导入规则；基于目标导入规则和所述运行视图中的预设参...

【专利技术属性】
技术研发人员：金鼎立，程维东，范文琦，
申请(专利权)人：中银金融科技有限公司，
类型：发明
国别省市：