【技术实现步骤摘要】
本公开涉及计算机处理，尤其涉及一种分布式导入管理方法、计算机装置、计算机可读存储介质。
技术介绍
1、在当今
中，数据导入过程常常面临诸多繁琐步骤，给开发人员带来了不小的挑战，开发人员需要耗费大量精力去定义路由接口、接收上传文件、本地缓存文件、校验文件格式、必填项、读取文件、处理业务逻辑、记录处理信息、上传处理结果、查看处理进度以及结果，甚至下载处理结果等功能，整个过程充斥着重复劳动和冗长等待，暴露出了一系列缺陷和问题，大大影响了系统的效率和开发人员的工作体验。
2、此外，传统的数据导入管理方法无法有效识别和拒绝非法文件的导入，导致系统遭受安全威胁；在单节点处理大规模数据时，出现性能瓶颈，影响系统的处理效率；在多用户同时操作系统时，可能出现数据竞争和冲突，影响系统的并发处理能力。
技术实现思路
1、有鉴于此，本公开实施例提供了一种分布式导入管理方法、计算机装置、计算机可读存储介质，能够解决现有技术存在的成本耗费大、导入周期长、业务性能低的问题。
2、第一方面，本公开实施例提供了一种分布式导入管理方法，该方法包括以下步骤：
3、获取接收的目标文件的第一信息；
4、基于所述第一信息判断所述目标文件是否合法，若是，保存所述目标文件至第一目录，并生成导入任务；
5、将所述导入任务分配给第一节点，所述第一节点为接收所述目标文件的节点；
6、基于所述导入任务触发所述第一节点执行分布式锁加锁策略；
7、判断
8、可选的，所述第一信息包括所述目标文件的类型信息、模板表头信息、必填项信息以及目标文件大小信息。
9、可选的，所述基于所述第一信息判断所述目标文件是否合法，包括：判断所述类型信息是否属于预设类型库，若否，判定所述目标文件不合法，并输出类型判别信息；
10、若是，判断所述模板表头信息是否满足预设表头信息，若否，判定所述目标文件不合法，并输出表头判别信息；
11、若是，判断所述必填项信息填写是否符合预设填写要求，若否，判定所述目标文件不合法，并输出必填项判别信息；
12、若是，判断所述目标文件大小是否不超过支持行数上限阈值，若否，判定所述目标文件不合法，并输出目标文件大小判别信息；
13、yy+242111p
14、若是，判定所述目标文件合法。
15、可选的，每个所述导入任务与每个所述目标文件一一对应。
16、可选的，该方法还包括：若所述第一节点加锁成功，将所述导入任务的状态更新为处理中。
17、可选的，该方法还包括：判断所述目标文件是否被所述第一节点按照所述第一预设处理业务逻辑处理成功，若是，更新所述目标文件的状态为已完成；
18、若否，更新所述目标文件的状态为失败，并记录失败原因。
19、可选的，若所述目标文件被所述第一节点按照所述第一预设处理业务逻辑处理失败，基于其它节点的第二预设处理业务逻辑对所述目标文件进行处理。
20、第二方面，本公开实施例还提供了一种分布式导入管理系统，采用如下技术方案：
21、获取模块，配置为获取接收的目标文件的第一信息；
22、合法性判断模块，配置为基于所述第一信息判断所述目标文件是否合法，若是，保存所述目标文件至第一目录，并生成导入任务；
23、导入模块，配置为将所述导入任务分配给第一节点，所述第一节点为接收所述目标文件的节点；
24、执行模块，配置为基于所述导入任务触发所述第一节点执行分布式锁加锁策略；
25、加锁判断模块，配置为判断所述第一节点是否加锁成功，若是，基于所述第一节点的第一预设处理业务逻辑对所述目标文件进行处理；若否，基于其它节点的第二预设处理业务逻辑对所述目标文件进行处理。
26、第三方面，本公开实施例还提供了一种计算机装置，采用如下技术方案：
27、所述计算机装置包括：
28、至少一个处理器；以及，
29、与所述至少一个处理器通信连接的存储器；其中，
30、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行以上任一所述的分布式导入管理方法。
31、第四方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行以上任一所述的分布式导入管理方法。
32、第五方面，本公开实施例还提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现以上任一项所述方法的步骤。
33、本申请公开的分布式导入管理方法，通过将导入任务直接分配给接收目标文件的节点，避免了在数据管理系统/平台处于服务状态时其它服务节点处于等待状态的情形，有效减轻了数据管理系统/平台的压力，大大提高导入管理过程中的资源利用率，提高处理效率，大大减少计算的时间，导入速率大幅提升。
34、本申请公开的分布式导入管理方法，允许多个节点同时处理多个导入任务，提高处理效率；当第一节点无法处理任务时，可以通过备用逻辑在其他节点上处理任务，保证导入过程的顺利进行；由于采用分布式架构，可以根据需求灵活添加新的处理节点，提高整体的安全性、效率、容错性和可扩展性，适用于大规模文件处理和分布式环境下的数据管理需求。
35、上述说明仅是本公开技术方案的概述，为了能更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为让本公开的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。
本文档来自技高网...【技术保护点】
1.一种分布式导入管理方法，其特征在于，包括：
2.根据权利要求1所述的分布式导入管理方法，其特征在于，所述第一信息包括所述目标文件的类型信息、模板表头信息、必填项信息以及目标文件大小信息。
3.根据权利要求2所述的分布式导入管理方法，其特征在于，所述基于所述第一信息判断所述目标文件是否合法，包括：
4.根据权利要求1所述的分布式导入管理方法，其特征在于，每个所述导入任务与每个所述目标文件一一对应。
5.根据权利要求1所述的分布式导入管理方法，其特征在于，该方法还包括：若所述第一节点加锁成功，将所述导入任务的状态更新为处理中。
6.根据权利要求1所述的分布式导入管理方法，其特征在于，该方法还包括：判断所述目标文件是否被所述第一节点按照所述第一预设处理业务逻辑处理成功，若是，更新所述目标文件的状态为已完成；
7.根据权利要求6所述的分布式导入管理方法，其特征在于，若所述目标文件被所述第一节点按照所述第一预设处理业务逻辑处理失败，基于其它节点的第二预设处理业务逻辑对所述目标文件进行处理。
8.一种计算
9.一种计算机可读存储介质，其特征在于，该计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行权利要求1-7任一所述的分布式导入管理方法。
10.一种计算机程序产品，包括计算机指令，其特征在于，该计算机指令被处理器执行时实现权利要求1-7任一项所述方法的步骤。
...【技术特征摘要】
1.一种分布式导入管理方法，其特征在于，包括：
2.根据权利要求1所述的分布式导入管理方法，其特征在于，所述第一信息包括所述目标文件的类型信息、模板表头信息、必填项信息以及目标文件大小信息。
3.根据权利要求2所述的分布式导入管理方法，其特征在于，所述基于所述第一信息判断所述目标文件是否合法，包括：
4.根据权利要求1所述的分布式导入管理方法，其特征在于，每个所述导入任务与每个所述目标文件一一对应。
5.根据权利要求1所述的分布式导入管理方法，其特征在于，该方法还包括：若所述第一节点加锁成功，将所述导入任务的状态更新为处理中。
6.根据权利要求1所述的分布式导入管理方法，其特征在于，该方法还包括：判...
【专利技术属性】
技术研发人员：郑明阳，周雷皓，张轩铭，高玉石，
申请(专利权)人：北京轻松怡康信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。