分布式文件批处理方法、装置、设备与可读存储介质制造方法及图纸

本发明专利技术公开了一种分布式文件批处理方法，包括：在检测到文件下载通知时，确定所述文件下载通知对应的下载端，并通过所述下载端将所述文件下载通知对应的文件，从对应的云存储中下载至所述下载端对应的本地盘；通过所述下载端在所述本地盘中读取所述文件的文件内容，并基于所述文件内容，通过所述下载端将所述文件导入所述下载端对应的数据库中；通过所述数据库对应的处理端处理所述数据库中的所述文件，以得到待导出文件；通过所述处理端将所述待导出文件导出至所述本地盘，并将所述待导出文件发送至所述云存储。本发明专利技术还公开了一种分布式文件批处理装置、设备和一种存储介质。本发明专利技术通过数据库代替NAS盘，实现分布式数据交换。

Distributed File Batch Processing, Devices, Devices and Readable Storage Media

【技术实现步骤摘要】
分布式文件批处理方法、装置、设备与可读存储介质
本专利技术涉及金融科技(Fintech)
，尤其涉及分布式文件批处理方法、装置、设备与可读存储介质。
技术介绍
近年来，随着金融科技(Fintech)，尤其是互联网金融的不断发展，数据处理技术被引入银行等金融机构的日常服务中。在金融机构日常服务的过程中，往往需要做跑批工作，跑批最主要就是产生总帐、进行总分核对或者是进行大批量交易，如结息、计提、代收付等；或者是生成报表，导出流水数据等，也即系统需要对来自各分机构的分布式文件进行批处理，那么如何对分布式文件进行批处理。在现有技术中，采用共享NAS盘(NetworkAttachedStorage，网络存储器)存储数据，实现分布式架构数据交换，具体的，由本地机器从云存储中将文件下载到本地盘，并由本地机器写入NAS盘，再由处理系统从NAS盘读取文件，并对文件进行处理，最后由处理系统将处理后的文件再一次写入NAS盘，并同步到云存储中，实现数据交换。但目前对分布式文件的批处理方式，依赖NAS盘实现，需要较高的硬件成本，而NAS性能写入慢，特别是大量小文件写入时较慢。因此，现有技术对分布式文件的跑批处理方式还有待改进。
技术实现思路
本专利技术的主要目的在于提出一种分布式文件批处理方法、装置、设备与可读存储介质，旨在提高处理分布式文件的高效性。为实现上述目的，本专利技术提供一种分布式文件批处理方法，所述分布式文件批处理方法包括如下步骤：在检测到文件下载通知时，确定所述文件下载通知对应的下载端，并通过所述下载端将所述文件下载通知对应的文件，从对应的云存储中下载至所述下载端对应的本地盘；通过所述下载端在所述本地盘中读取所述文件的文件内容，并基于所述文件内容，通过所述下载端将所述文件导入所述下载端对应的数据库中；通过所述数据库对应的处理端处理所述数据库中的所述文件，以得到待导出文件；通过所述处理端将所述待导出文件导出至所述本地盘，并将所述待导出文件发送至所述云存储。优选地，所述在检测到文件下载通知时，确定所述文件下载通知对应的下载端，并通过所述下载端将所述文件下载通知对应的文件，从对应的云存储中下载至所述下载端对应的本地盘的步骤包括：在检测到文件下载通知时，确定所述文件下载通知对应的下载端；通过所述下载端将所述文件下载通知对应的文件列表中文件状态为待下载的文件，从对应的云存储中下载至所述下载端对应的本地盘；通过所述下载端将所述文件的文件状态更改为下载中或者已下载，并根据当前文件状态，更新所述文件列表。优选地，所述通过所述下载端在所述本地盘中读取所述文件的文件内容，并通过所述下载端基于所述文件内容将所述文件导入所述下载端对应的数据库中的步骤包括：通过所述下载端在所述本地盘中读取所述文件的收发配置表，并基于所述收发配置表确定所述文件是否需要导入；若需要，则基于所述收发配置表，通过所述处理端确定所述文件所属的文件类型，并基于所述文件类型，确定所述文件的导入类型；基于所述导入类型，通过所述下载端将所述文件导入所述下载端对应的数据库中。优选地，若所述导入类型为单线程导入，则所述基于所述导入类型，通过所述下载端将所述文件导入所述下载端对应的数据库中的步骤包括：确定所述数据库中是否存在所述文件对应的失败记录；若存在，则清理所述失败记录，并通过所述下载端读取所述文件的文件配置，以确定是否需要跳过所述文件的文件头；若需要，则通过所述下载端将跳过所述文件头的所述文件导入所述下载端对应的数据库中。优选地，若所述导入类型为多线程导入，则所述基于所述导入类型，通过所述下载端将所述文件导入所述下载端对应的数据库中的步骤包括：确定所述数据库中是否存在所述文件对应的失败记录；若存在，则清理所述失败记录，并通过所述下载端将所述文件拆分为第一预设数量的第一拆分文件；通过所述下载端将所述第一拆分文件并行导入所述下载端对应的数据库中。优选地，所述通过所述处理端将所述待导出文件导出至所述本地盘，并将所述待导出文件发送至所述云存储的步骤包括：通过所述处理端获取所述待导出文件对应的收发配置表，并基于所述待导出文件对应的收发配置表确定所述待导出文件的初始化状态；基于所述初始化状态，通过所述处理端确定所述待导出文件是否需要导出；若需要，则通过所述处理端确定所述待导出文件在所述本地盘和在所述云存储对应的第一目录，并将所述待导出文件拆分为第二预设数量的第二拆分文件，并导出至第一目录；在所述第一目录中将所述第二拆分文件合并为合并文件，并合并到所述待导出文件对应的第二目录。优选地，所述若需要，则通过所述处理端确定所述待导出文件在所述本地盘和在所述云存储对应的第一目录，并将所述待导出文件拆分为第二预设数量的第二拆分文件，并导出至第一目录的步骤包括：若需要，则确定所述待导出文件在所述本地盘和在所述云存储对应的第一目录，并确定所述第一目录是否存在残留文件；若不存在，则通过所述处理端将所述待导出文件拆分为第二预设数量的第二拆分文件，并导出至所述第一目录；若存在，则删除所述残留文件，并通过所述处理端将所述待导出文件拆分为第二预设数量的第二拆分文件，并导出至所述第一目录。此外，为实现上述目的，本专利技术还提供一种分布式文件批处理装置，所述分布式文件批处理装置包括：下载模块，用于在检测到文件下载通知时，确定所述文件下载通知对应的下载端，并通过所述下载端将所述文件下载通知对应的文件，从对应的云存储中下载至所述下载端对应的本地盘；导入模块，用于通过所述下载端在所述本地盘中读取所述文件的文件内容，并基于所述文件内容，通过所述下载端将所述文件导入所述下载端对应的数据库中；处理模块，用于通过所述数据库对应的处理端处理所述数据库中的所述文件，以得到待导出文件；导出模块，用于通过所述处理端将所述待导出文件导出至所述本地盘，并将所述待导出文件发送至所述云存储。优选地，所述下载模块还用于：在检测到文件下载通知时，确定所述文件下载通知对应的下载端；通过所述下载端将所述文件下载通知对应的文件列表中文件状态为待下载的文件，从对应的云存储中下载至所述下载端对应的本地盘；通过所述下载端将所述文件的文件状态更改为下载中或者已下载，并根据当前文件状态，更新所述文件列表。优选地，所述导入模块还用于：通过所述下载端在所述本地盘中读取所述文件的收发配置表，并基于所述收发配置表确定所述文件是否需要导入；若需要，则基于所述收发配置表，通过所述处理端确定所述文件所属的文件类型，并基于所述文件类型，确定所述文件的导入类型；基于所述导入类型，通过所述下载端将所述文件导入所述下载端对应的数据库中。优选地，若所述导入类型为单线程导入，则所述导入模块还用于：确定所述数据库中是否存在所述文件对应的失败记录；若存在，则清理所述失败记录，并通过所述下载端读取所述文件的文件配置，以确定是否需要跳过所述文件的文件头；若需要，则通过所述下载端将跳过所述文件头的所述文件导入所述下载端对应的数据库中。优选地，若所述导入类型为多线程导入，则所述导入模块还用于：确定所述数据库中是否存在所述文件对应的失败记录；若存在，则清理所述失败记录，并通过所述下载端将所述文件拆分为第一预设数量的第一拆分文件；通过所述下载端将所述第一拆分文件并行导入所述下载端对应的数据库中。优选地，本文档来自技高网...

【技术保护点】
1.一种分布式文件批处理方法，其特征在于，所述分布式文件批处理方法包括如下步骤：在检测到文件下载通知时，确定所述文件下载通知对应的下载端，并通过所述下载端将所述文件下载通知对应的文件，从对应的云存储中下载至所述下载端对应的本地盘；通过所述下载端在所述本地盘中读取所述文件的文件内容，并基于所述文件内容，通过所述下载端将所述文件导入所述下载端对应的数据库中；通过所述数据库对应的处理端处理所述数据库中的所述文件，以得到待导出文件；通过所述处理端将所述待导出文件导出至所述本地盘，并将所述待导出文件发送至所述云存储。

【技术特征摘要】
1.一种分布式文件批处理方法，其特征在于，所述分布式文件批处理方法包括如下步骤：在检测到文件下载通知时，确定所述文件下载通知对应的下载端，并通过所述下载端将所述文件下载通知对应的文件，从对应的云存储中下载至所述下载端对应的本地盘；通过所述下载端在所述本地盘中读取所述文件的文件内容，并基于所述文件内容，通过所述下载端将所述文件导入所述下载端对应的数据库中；通过所述数据库对应的处理端处理所述数据库中的所述文件，以得到待导出文件；通过所述处理端将所述待导出文件导出至所述本地盘，并将所述待导出文件发送至所述云存储。2.如权利要求1所述的分布式文件批处理方法，其特征在于，所述在检测到文件下载通知时，确定所述文件下载通知对应的下载端，并通过所述下载端将所述文件下载通知对应的文件，从对应的云存储中下载至所述下载端对应的本地盘的步骤包括：在检测到文件下载通知时，确定所述文件下载通知对应的下载端；通过所述下载端将所述文件下载通知对应的文件列表中文件状态为待下载的文件，从对应的云存储中下载至所述下载端对应的本地盘；通过所述下载端将所述文件的文件状态更改为下载中或者已下载，并根据当前文件状态，更新所述文件列表。3.如权利要求1所述的分布式文件批处理方法，其特征在于，所述通过所述下载端在所述本地盘中读取所述文件的文件内容，并通过所述下载端基于所述文件内容将所述文件导入所述下载端对应的数据库中的步骤包括：通过所述下载端在所述本地盘中读取所述文件的收发配置表，并基于所述收发配置表确定所述文件是否需要导入；若需要，则基于所述收发配置表，通过所述处理端确定所述文件所属的文件类型，并基于所述文件类型，确定所述文件的导入类型；基于所述导入类型，通过所述下载端将所述文件导入所述下载端对应的数据库中。4.如权利要求3所述的分布式文件批处理方法，其特征在于，若所述导入类型为单线程导入，则所述基于所述导入类型，通过所述下载端将所述文件导入所述下载端对应的数据库中的步骤包括：确定所述数据库中是否存在所述文件对应的失败记录；若存在，则清理所述失败记录，并通过所述下载端读取所述文件的文件配置，以确定是否需要跳过所述文件的文件头；若需要，则通过所述下载端将跳过所述文件头的所述文件导入所述下载端对应的数据库中。5.如权利要求3所述的分布式文件批处理方法，其特征在于，若所述导入类型为多线程导入，则所述基于所述导入类型，通过所述下载端将所述文件导入所述下载端对应的数据库中的步骤包括：确定所述数据库中是否存在所述文件对应的失败记录；若存在，则清理所述失败记录，并通过所述下载端将所述文件拆分为第一预设数量的第一拆分文件；通过所述下载端将所述第一拆分文件并行导入所述下载端对应的数据库中。6.如权利要求1-5任一项所述的分布式文件批处理方法，其特征在于，所述通过所述处理端将所述待导出文件导出至所述本地盘，并将所述待导出文件发送至所述云存储的步骤包括：通过所述处理端获取所述待导出文件对应的收发配置表，并基于所述待导出文件对应的收发配置表确定所述待导出文件的初始化状态；基于所述初始化状态，通过所述处理端确定所述待导出文件是否需要导出；若需要，则通过所述处理端确定所述待导出文件在所述本地盘和在所述云存储对应的第一目录，并将所述待导出文件拆分为第二预设数量的第二拆分文件，并导出至第一目录；在所述第一目录中将所述第二拆分文件合并为合并文件，并合并到所述待导出文件对应的第二目录。7.如权利要求6所述的分布式文件批处理方法，其特征在于，所述若需要，则通过所述处理端确定所述待导出文件在所述本地盘和在所述云存储对应的第一目录，并将所述待导出文件拆分为第二预设数量的第二拆分文件，并导出至第一目录的步骤包括：若需要，则确定所述待导出文件在所述本地盘和在所述云存储对应的第一目录，并确定所述第一目录是否存在残留文件；若不存在，则通过所述处理端将所述待导出文件拆分为第二预设数量的第二拆分文件，并导出至所述第一目录；若存在，则删除所述残留文件，并通过所述处理端将所述待导出文件拆分...

【专利技术属性】
技术研发人员：魏艳梅，侯向辉，李斌，江旻，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东,44