本申请公开了一种数据处理方法、装置、处理器及电子设备。涉及云计算领域，方法包括：获取待加载文件，以及配置文件，其中，配置文件包括待加载文件的文件名，以及数据库表的表名，数据库表中的多个表字段分别与待加载文件的文件位置相对应；根据配置文件对待加载文件进行裁剪，确定与多个表字段对应的多个文件字段；根据表字段对应的处理函数，对表字段对应的文件字段进行处理；将处理后的文件字段存储到对应的数据库中。通过本申请，解决了相关技术中的分布式系统在大批量数据加载时，存在平稳性差，效率低的问题。效率低的问题。效率低的问题。
【技术实现步骤摘要】
数据处理方法、装置、处理器及电子设备
[0001]本申请涉及云计算领域，具体而言，涉及一种数据处理方法、装置、处理器及电子设备。
技术介绍
[0002]当下互联网行业发展迅猛，企业间、产品间、应用间的数据共享，传递需求也日益增长。在信息量暴涨的时代，加载大批量的数据文件时，还需保证数据库的平稳，确保对外的联机服务不因数据加载而影响性能，造成对外服务体验下滑。同时在开放平台系统上，数据库系统百家争鸣，数据库间存在一定的异构性，导致数据文件加载方案，无法兼容各种数据库系统，而且数据库系统更换或对接，会带来过大的系统迁移工作量。
[0003]针对相关技术中的分布式系统在大批量数据加载时，存在平稳性差，效率低的问题，目前尚未提出有效的解决方案。
技术实现思路
[0004]本申请的主要目的在于提供一种数据处理方法、装置、处理器及电子设备，以解决相关技术中的分布式系统在大批量数据加载时，存在平稳性差，效率低的问题。
[0005]为了实现上述目的，根据本申请的一个方面，提供了一种数据处理方法，包括：获取待加载文件，以及配置文件，其中，所述配置文件包括所述待加载文件的文件名，以及数据库表的表名，所述数据库表中的多个表字段分别与所述待加载文件的文件位置相对应；根据所述配置文件对所述待加载文件进行裁剪，确定与所述多个表字段对应的多个文件字段；根据所述表字段对应的处理函数，对所述表字段对应的文件字段进行处理；将处理后的文件字段存储到对应的数据库中。
[0006]可选的，根据所述配置文件对所述待加载文件进行裁剪，确定与所述多个表字段对应的多个文件字段之前，所述方法还包括：获取所述待加载文件的文件清单，其中，所述文件清单包括多个待加载文件的文件名；对所述配置文件进行解析，确定所述待加载文件的文件名，以及数据库表名，所述数据库表中的多个表字段分别与所述待加载文件的文件位置相对应；对所述文件清单进行遍历，对多个所述待加载文件进行检查。
[0007]可选的，对所述文件清单进行遍历，对多个所述待加载文件进行检查包括：对所述文件清单进行遍历，读取待加载文件的文件行的长度；根据所述配置文件，确定所述数据库表的表字段对应的文件行的长度；在读取的文件行的长度与所述数据库表对应的文件行的长度一致的情况下，执行根据所述配置文件对所述待加载文件进行裁剪，确定与所述多个表字段对应的多个文件字段的步骤；在读取的文件行的长度与所述数据库表对应的文件行的长度不一致的情况下，跳过所述待加载文件的文件行，对后续文件行进行检查，并将跳过的文件行进行日志登记。
[0008]可选的，所述待加载文件的文件名，以及数据库表名，所述数据库表中的多个表字段分别与所述待加载文件的文件位置相对应包括：根据所述表字段对应的文件位置，对所
述待加载文件中处于所述文件位置的内容数据进行裁剪；在剪裁的内容数据不为空的情况下，将裁剪的内容数据作为所述文件字段，与所述表字段建立对应关系，并进行存储；在剪裁的内容数据为空的情况下，将预设的默认内容数据作为所述文件字段，与所述表字段建立对应关系，并进行存储。
[0009]可选的，根据所述表字段对应的处理函数，对所述表字段对应的文件字段进行处理包括：根据所述对应关系，确定对应关系中的表字段对应的处理函数，其中，所述表字段对应的处理函数，为预先在所述配置文件中设置的；通过所述处理函数对所述对应关系对应的所述文件字段进行处理。
[0010]可选的，将处理后的文件字段存储到对应的数据库中包括：在所述处理函数为内置函数的情况下，在本地通过所述内置函数对所述文件字段进行处理；在所述处理函数为非内置函数的情况下，将所述文件字段发送给所述数据库，其中，所述数据库在将所述文件字段载入之前，通过所述非内置函数对所述文件字段进行处理。
[0011]可选的，将处理后的文件字段存储到对应的数据库中包括：根据所述处理后的文件字段，确定所述数据库对应的加载脚本；通过运行所述加载脚本，将所述文件字段存储到所述数据库。
[0012]可选的，所述数据库为多个，根据所述表字段对应的处理函数，对所述表字段对应的文件字段进行处理之前，所述方法还包括：根据所述待加载文件中的标识字段，其中，所述标识字段用于标识所述待加载文件中的文件字段对应存储的数据库；根据所述标识字段，以及标识字段标识的所述文件字段，确定所述文件字段存储的数据库标识。
[0013]可选的，将处理后的文件字段存储到对应的数据库中之前，所述方法还包括：记录所述待加载文件的处理完成的文件行数量；在所述文件行数量达到预设数量的情况下，将所述待加载文件中处理完成的文件字段存储到对应的数据库中。
[0014]为了实现上述目的，根据本申请的另一方面，提供了一种数据处理装置，包括：获取模块，用于获取待加载文件，以及配置文件，其中，所述配置文件包括所述待加载文件的文件名，以及数据库表的表名，所述数据库表中的多个表字段分别与所述待加载文件的文件位置相对应；剪裁模块，用于根据所述配置文件对所述待加载文件进行裁剪，确定与所述多个表字段对应的多个文件字段；处理模块，用于根据所述表字段对应的处理函数，对所述表字段对应的文件字段进行处理；存储模块，用于将处理后的文件字段存储到对应的数据库中。
[0015]为了实现上述目的，根据本申请的另一方面，提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述中任意一项所述的数据处理方法。
[0016]为了实现上述目的，根据本申请的另一方面，提供了一种电子设备，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述中任意一项所述的数据处理方法。
[0017]通过本申请，采用以下步骤：获取待加载文件，以及配置文件，其中，配置文件包括待加载文件的文件名，以及数据库表的表名，数据库表中的多个表字段分别与待加载文件的文件位置相对应；根据配置文件对待加载文件进行裁剪，确定与多个表字段对应的多个文件字段；根据表字段对应的处理函数，对表字段对应的文件字段进行处理；将处理后的文
件字段存储到对应的数据库中。通过配置文件配置待加载文件与数据库表的表字段的关系，按照表字段对应的处理函数进行处理后，将待加载文件加载到数据库中，解决了相关技术中的分布式系统在大批量数据加载时，存在平稳性差，效率低的问题。进而达到了平稳快速对大批量数据文件进行加载，且对数据库性能影响波动小，提高分布式系统在大批量数据加载的平稳性和加载效率的效果。
附图说明
[0018]构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0019]图1是根据本申请实施例提供的数据处理方法的流程图；
[0020]图2是根据本申请实施方式提供的批量文件加载系统的示意图；
[0021]图3是根据本申请实施方式提供的批量文件加载的流程图；
[本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取待加载文件，以及配置文件，其中，所述配置文件包括所述待加载文件的文件名，以及数据库表的表名，所述数据库表中的多个表字段分别与所述待加载文件的文件位置相对应；根据所述配置文件对所述待加载文件进行裁剪，确定与所述多个表字段对应的多个文件字段；根据所述表字段对应的处理函数，对所述表字段对应的文件字段进行处理；将处理后的文件字段存储到对应的数据库中。2.根据权利要求1所述的方法，其特征在于，根据所述配置文件对所述待加载文件进行裁剪，确定与所述多个表字段对应的多个文件字段之前，所述方法还包括：获取所述待加载文件的文件清单，其中，所述文件清单包括多个待加载文件的文件名；对所述配置文件进行解析，确定所述待加载文件的文件名，以及数据库表名，所述数据库表中的多个表字段分别与所述待加载文件的文件位置相对应；对所述文件清单进行遍历，对多个所述待加载文件进行检查。3.根据权利要求2所述的方法，其特征在于，对所述文件清单进行遍历，对多个所述待加载文件进行检查包括：对所述文件清单进行遍历，读取待加载文件的文件行的长度；根据所述配置文件，确定所述数据库表的表字段对应的文件行的长度；在读取的文件行的长度与所述数据库表对应的文件行的长度一致的情况下，执行根据所述配置文件对所述待加载文件进行裁剪，确定与所述多个表字段对应的多个文件字段的步骤；在读取的文件行的长度与所述数据库表对应的文件行的长度不一致的情况下，跳过所述待加载文件的文件行，对后续文件行进行检查，并将跳过的文件行进行日志登记。4.根据权利要求2所述的方法，其特征在于，所述待加载文件的文件名，以及数据库表名，所述数据库表中的多个表字段分别与所述待加载文件的文件位置相对应包括：根据所述表字段对应的文件位置，对所述待加载文件中处于所述文件位置的内容数据进行裁剪；在剪裁的内容数据不为空的情况下，将裁剪的内容数据作为所述文件字段，与所述表字段建立对应关系，并进行存储；在剪裁的内容数据为空的情况下，将预设的默认内容数据作为所述文件字段，与所述表字段建立对应关系，并进行存储。5.根据权利要求4所述的方法，其特征在于，根据所述表字段对应的处理函数，对所述表字段对应的文件字段进行处理包括：根据所述对应关系，确定对应关系中的表字段对应的处理函数，其中，所述表字段对应的处理函数，为预先在所述配置文件中设...
【专利技术属性】
技术研发人员：陈金鸿，冯定国，潘丹铃，黄济明，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。