本申请涉及一种大数据抽取方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取目标业务系统的系统类别和表信息；根据预设的系统类别与数据库类型之间的第一对应关系，以及所述目标业务系统的系统类别，确定所述目标业务系统的数据库类型；根据所述目标业务系统的数据库类型确定目标业务系统的目标数据库字段类型；根据所述目标业务系统的目标数据库字段类型和所述目标业务系统的表信息，通过数据字典抽取脚本进行抽取，生成目标业务系统的数据字典；通过预设的数据采集脚本和所述目标业务系统的数据字典，读取所述目标业务系统中的数据。采用本方法能够提高数据抽取效率。高数据抽取效率。高数据抽取效率。
【技术实现步骤摘要】
大数据抽取方法、装置、计算机设备和存储介质
[0001]本申请涉及数据存储
，特别是涉及一种大数据抽取方法、装置、计算机设备、存储介质和计算机程序产品。
技术介绍
[0002]随着数据存储技术的发展，为了实现海量数据的转移存储，例如将各业务系统的业务数据存储到大数据平台上，出现了大数据抽取技术。
[0003]传统技术中，大数据平台在接入目标业务系统时，通常在需求调研时，从运维厂家调研确定目标业务系统的数据库类型，根据目标业务系统的数据库类型，编写对应的数据采集脚本，大数据平台在执行该对应的数据采集脚本时，从目标业务系统数据库中抽取对应的数据。
[0004]然而，传统方法，当大数据平台每接入一个不同数据库类型的目标业务系统，需要分别编写与各数据库类型对应的数据采集脚本，才能实现大数据平台抽取各不同类型的目标业务系统数据库中的数据，因此在一定程度上降低了数据抽取的效率。
技术实现思路
[0005]基于此，有必要针对上述技术问题，提供一种能够提高数据抽取效率的大数据抽取方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0006]第一方面，本申请提供了一种大数据抽取方法。所述方法包括：
[0007]获取目标业务系统的系统类别和表信息；
[0008]根据预设的系统类别与数据库类型之间的第一对应关系，以及所述目标业务系统的系统类别，确定所述目标业务系统的数据库类型；
[0009]根据所述目标业务系统的数据库类型确定目标业务系统的目标数据库字段类型；
[0010]根据所述目标业务系统的目标数据库字段类型和所述目标业务系统的表信息，通过数据字典抽取脚本进行抽取，生成目标业务系统的数据字典；
[0011]通过预设的数据采集脚本和所述目标业务系统的数据字典，读取所述目标业务系统中的数据。
[0012]在其中一个实施例中，根据所述目标业务系统的数据库类型确定目标业务系统的目标数据库字段类型，包括：
[0013]根据预设的数据库字段类型与目标数据库字段类型之间的映射关系，以及所述目标业务系统的字段类型，确定所述目标业务系统的目标数据库字段类型。
[0014]在其中一个实施例中，通过预设的数据采集脚本和所述目标业务系统的数据字典，读取所述目标业务系统中的数据，包括：
[0015]获取所述目标业务系统的连接账号密码和连接地址；
[0016]对所述目标业务系统的连接账号密码进行解密，得到解密后的连接账号密码；
[0017]根据预设的数据库类型与驱动配置之间的第二对应关系，以及所述目标业务系统
的数据库类型，确定所述目标业务系统的驱动配置；
[0018]根据所述目标业务系统的数据字典和所述解密后的连接账号密码，通过所述目标业务系统的驱动配置驱动所述数据采集脚本执行，连接到所述连接地址读取所述目标业务系统中的数据。
[0019]在其中一个实施例中，获取所述目标业务系统的连接账号密码，包括：
[0020]根据所述目标业务系统的系统类别，和预设的系统类别和连接账号密码之间的第三对应关系，确定所述目标业务系统的连接账号密码。
[0021]在其中一个实施例中，对所述目标业务系统的连接账号密码进行解密，得到解密后的连接账号密码，包括：
[0022]获取所述目标业务系统通过密钥对所述连接账号密码进行加密后得到的密文；
[0023]将所述密文通过所述密钥进行解密，得到所述解密后的连接账号密码。
[0024]在一个实施例中，所述方法还包括：
[0025]获取各不同数据库类型的业务系统的字段类型；
[0026]根据各所述业务系统中表的字段类型，分别生成映射到目标数据库的字段类型，得到预设的数据库字段类型与目标数据库字段类型之间的映射关系。
[0027]第二方面，本申请还提供了一种大数据抽取装置。所述装置包括：
[0028]业务系统信息获取模块，用于获取目标业务系统的系统类别和表信息；
[0029]数据库类型获取模块，用于根据预设的系统类别与数据库类型之间的第一对应关系，以及所述目标业务系统的系统类别，确定所述目标业务系统的数据库类型；
[0030]字段类型确定模块，用于根据所述目标业务系统的数据库类型确定目标业务系统的目标数据库字段类型；
[0031]数据字典确定模块，用于根据所述目标业务系统的目标数据库字段类型和所述目标业务系统的表信息，通过数据字典抽取脚本进行抽取，生成目标业务系统的数据字典；
[0032]数据读取模块，用于通过预设的数据采集脚本和所述目标业务系统的数据字典，读取所述目标业务系统中的数据。
[0033]第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0034]获取目标业务系统的系统类别和表信息；
[0035]根据预设的系统类别与数据库类型之间的第一对应关系，以及所述目标业务系统的系统类别，确定所述目标业务系统的数据库类型；
[0036]根据所述目标业务系统的数据库类型确定目标业务系统的目标数据库字段类型；
[0037]根据所述目标业务系统的目标数据库字段类型和所述目标业务系统的表信息，通过数据字典抽取脚本进行抽取，生成目标业务系统的数据字典；
[0038]通过预设的数据采集脚本和所述目标业务系统的数据字典，读取所述目标业务系统中的数据。
[0039]第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0040]获取目标业务系统的系统类别和表信息；
[0041]根据预设的系统类别与数据库类型之间的第一对应关系，以及所述目标业务系统
的系统类别，确定所述目标业务系统的数据库类型；
[0042]根据所述目标业务系统的数据库类型确定目标业务系统的目标数据库字段类型；
[0043]根据所述目标业务系统的目标数据库字段类型和所述目标业务系统的表信息，通过数据字典抽取脚本进行抽取，生成目标业务系统的数据字典；
[0044]通过预设的数据采集脚本和所述目标业务系统的数据字典，读取所述目标业务系统中的数据。
[0045]第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
[0046]获取目标业务系统的系统类别和表信息；
[0047]根据预设的系统类别与数据库类型之间的第一对应关系，以及所述目标业务系统的系统类别，确定所述目标业务系统的数据库类型；
[0048]根据所述目标业务系统的数据库类型确定目标业务系统的目标数据库字段类型；
[0049]根据所述目标业务系统的目标数据库字段类型和所述目标业务系统的表信息，通过数据字典抽取脚本进本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种大数据抽取方法，其特征在于，所述方法包括：获取目标业务系统的系统类别和表信息；根据预设的系统类别与数据库类型之间的第一对应关系，确定所述目标业务系统的数据库类型；根据所述目标业务系统的数据库类型确定目标业务系统的目标数据库字段类型；根据所述目标业务系统的目标数据库字段类型和所述目标业务系统的表信息，通过数据字典抽取脚本进行抽取，生成目标业务系统的数据字典；通过预设的数据采集脚本和所述目标业务系统的数据字典，读取所述目标业务系统的数据库中的数据。2.根据权利要求1所述的方法，其特征在于，根据所述目标业务系统的数据库类型确定目标业务系统的目标数据库字段类型，包括：根据预设的数据库字段类型与目标数据库字段类型之间的映射关系，以及所述目标业务系统的字段类型，确定所述目标业务系统的目标数据库字段类型。3.根据权利要求1所述的方法，其特征在于，通过预设的数据采集脚本和所述目标业务系统的数据字典，读取所述目标业务系统的数据库中的数据，包括：获取所述目标业务系统的连接账号密码和连接地址；对所述目标业务系统的连接账号密码进行解密，得到解密后的连接账号密码；根据预设的数据库类型与驱动配置之间的第二对应关系，以及所述目标业务系统的数据库类型，确定所述目标业务系统的驱动配置；根据所述目标业务系统的数据字典和所述解密后的连接账号密码，通过所述目标业务系统的驱动配置驱动所述数据采集脚本执行，连接到所述连接地址读取所述目标业务系统的数据库中的数据。4.根据权利要求3所述的方法，其特征在于，获取所述目标业务系统的连接账号密码，包括：根据所述目标业务系统的系统类别，和预设的系统类别和连接账号密码之间的第三对应关系，确定所述目标业务系统的连接账号密码。5.根据权利要求3所述的方法，其...
【专利技术属性】
技术研发人员：赵永国，杨荣霞，曹熙，曾祥清，黎名航，
申请(专利权)人：南方电网大数据服务有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。