【技术实现步骤摘要】
本申请涉及数据处理，特别是涉及一种文件传输方法、装置、电子设备、产品及介质。
技术介绍
1、随着大模型发展，通过人工智能训练平台来完成模型的训练是比较普遍的，针对用户本地的模型数据和数据集数据中存在多种类型和大小不一的文件，用户的针对不同的文件上传需要越来越高，目前人工智能训练平台无法满足多类型文件的高效传输。
技术实现思路
1、有鉴于此，本申请实施例提供一种文件传输方法、装置、电子设备、产品及介质，以便克服上述问题或者至少部分地解决上述问题。
2、本申请实施例第一方面提供了一种文件传输方法，应用于人工智能训练平台的文件管理单元，所述文件管理单元用于连接人工智能训练平台的用户界面与人工智能训练平台的训练业务，所述方法包括：
3、当在所述用户界面检测到用户需要上传到所述人工智能训练平台的目标文件集时，确定出所述目标文件集的类型以及所述目标文件集中的各个文件的文件大小；
4、根据所述目标文件集的类型，确定出与所述目标文件集对应的上传策略，根据所述目标文件集中的各个文件的文件大小与预设文件分片大小之间的大小关系，确定所述目标文件集的分割策略，并基于所述分割策略对所述目标文件集中满足分割条件的文件进行分割，得到待上传文件集，所述预设文件分片大小是基于北向接口检测到的所述文件管理单元中的文件的实时上传速率确定得到的；
5、基于所述上传策略将所述待上传文件集上传到所述人工智能训练平台。
6、可选地，所述根据所述目标文件集中的各个文件的
7、当所述目标文件集的类型为单个文件时，确定所述上传策略为逐个上传策略；
8、确定所述单个文件的文件大小与所述预设文件分片大小之间的大小关系；
9、当所述单个文件的文件大小小于或等于所述预设文件分片大小时，确定所述单个文件为所述待上传文件集，当所述单个文件的文件大小大于所述预设文件分片大小时，确定所述单个文件为第一文件，并按照所述预设文件分片大小将为第一文件的单个文件拆分为第一文件分片集，确定所述第一文件分片集为待上传文件集，其中，所述第一文件分片集包括多个第一文件分片；
10、所述基于所述上传策略将所述待上传文件集上传到所述人工智能训练平台，包括：将所述待上传文件集中包含的单个文件或所述多个第一文件分片加入同一个文件上传队列中，基于所述逐个上传策略进行逐个上传。
11、可选地，所述根据所述目标文件集中的各个文件的文件大小与预设文件分片大小之间的大小关系，确定所述目标文件集的分割策略，并基于所述分割策略对所述目标文件集中满足分割条件的文件进行分割，得到待上传文件集，包括：
12、当所述目标文件集的类型为多个文件时，确定所述上传策略为并行上传策略和/或逐个上传策略；
13、确定所述多个文件中的每个子文件的文件大小与所述预设文件分片大小之间的大小关系；
14、当所述子文件的文件大小大于所述预设文件分片大小时，确定所述子文件为第一文件，并按照所述预设文件分片大小将为第一文件的子文件拆分为多个第二文件分片集，确定所述多个第二文件分片集和所述文件大小于或等于所述预设文件分片大小的子文件为所述待上传文件集，所述第二文件分片集包括多个第二文件分片，每个第二文件分片集对应一个文件大小大于所述预设文件分片大小的子文件；
15、所述基于所述上传策略将所述待上传文件集上传到所述人工智能训练平台，包括：将所述待上传文件集中包含的所述多个第二文件分片集或所述文件大小于或等于所述预设文件分片大小的子文件分别加入多个文件上传队列中，基于所述并行上传策略进行并行上传，其中，每个所述第二文件分片集在同一个文件上传队列中基于所述逐个上传策略进行逐个上传。
16、可选地，所述方法还包括：
17、当所述文件上传队列为空时，直接将所述待上传文件集加入所述文件上传队列中；
18、当所述文件上传队列不为空的同时，所述文件上传队列的队列长度小于预设长度且所述文件上传队列中的文件分片的大小小于预设文件分片大小时，将所述待上传文件集加入所述文件上传队列中；
19、当所述文件上传队列不为空的同时，所述文件上传队列的队列长度小于预设长度且所述文件上传队列中的文件分片的大小等于所述预设文件分片大小时，等待所述文件上传队列中的文件上传后将所述待上传文件集加入所述文件上传队列中。
20、可选地，所述方法还包括：
21、对所述第一文件分片集中包含的多个第一文件分片和所述第二文件分片集中包含的多个第二文件分片按照分割顺序进行标记，以使每个第一文件分片具有与其对应的第一分片序号，每个第二文件分片具有与其对应的第二分片序号；
22、在所述第一文件分片上传完成后，依据所述第一分片序号对所述第一文件分片与其他第一文件分片进行重组，得到与第一文件分片集对应的单个文件；
23、在所述第二文件分片上传完成后，依据所述第二分片序号对所述第二文件分片与其他第二文件分片进行重组，得到与第二文件分片集对应的子文件。
24、可选地，所述方法还包括：
25、针对所述待上传文件集创建临时目录，所述临时目录包括第一临时目录和第二临时目录；
26、将所述上传完成的第一文件分片存储在所述第一临时目录中，在所述第一临时目录中，依据所述第一分片序号对所述第一文件分片与其他第一文件分片进行重组，在得到与第一文件分片集对应的单个文件之后，将所述单个文件移动到第一目标目录中，并对所述第一临时目录进行清理；
27、将所述上传完成的第二文件分片存储在所述第二临时目录中，在所述第二临时目录中，依据所述第二分片序号对所述第二文件分片与其他第二文件分片进行重组，在得到与第二文件分片集对应的子文件之后，将所述子文件移动到第二目标目录中，并对所述第二临时目录进行清理。
28、可选地，所述针对所述待上传文件集创建临时目录，包括：
29、以通用唯一标识码对临时目录进行创建，并对创建后的临时目录加点隐藏，以使所述临时目录在所述用户界面为不可见状态；
30、对所述临时目录的属性设置为根用户。
31、可选地，所述方法还包括：
32、当所述待上传文件集上传失败时，将上传失败的错误信息反馈给所述用户界面；
33、按照配置的预设错误重试次数，对上传失败时所正在上传的文件进行重新上传。
34、可选地，所述方法还包括：
35、判断重新上传的次数是否大于预设错误重试次数；
36、当所述重新上传的次数大于预设错误重试次数且上传失败时所正在上传的文件无法完成上传时，将上传失败前所上传的文件作为脏数据进行清理。
37、可选地，所述方法还包括：
3本文档来自技高网...
【技术保护点】
1.一种文件传输方法，其特征在于，应用于人工智能训练平台的文件管理单元，所述文件管理单元用于连接人工智能训练平台的用户界面与人工智能训练平台的训练业务，所述方法包括：
2.根据权利要求1所述的文件传输方法，其特征在于，所述根据所述目标文件集中的各个文件的文件大小与预设文件分片大小之间的大小关系，确定所述目标文件集的分割策略，并基于所述分割策略对所述目标文件集中满足分割条件的文件进行分割，得到待上传文件集，包括：
3.根据权利要求2所述的文件传输方法，其特征在于，所述根据所述目标文件集中的各个文件的文件大小与预设文件分片大小之间的大小关系，确定所述目标文件集的分割策略，并基于所述分割策略对所述目标文件集中满足分割条件的文件进行分割，得到待上传文件集，包括：
4.根据权利要求3所述的文件传输方法，其特征在于，所述方法还包括：
5.根据权利要求3所述的文件传输方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的文件传输方法，其特征在于，所述方法还包括：
7.根据权利要求6所述的文件传输方法，其特征在于，所述
8.根据权利要求1所述的文件传输方法，其特征在于，所述方法还包括：
9.根据权利要求8所述的文件传输方法，其特征在于，所述方法还包括：
10.根据权利要求3所述的文件传输方法，其特征在于，所述方法还包括：
11.根据权利要求10所述的文件传输方法，其特征在于，在通过文件校验码对上传后的待上传文件集的完整性和一致性进行校验之前，还包括：
12.一种文件传输装置，其特征在于，应用于人工智能训练平台的文件管理单元，所述文件管理单元用于连接人工智能训练平台的用户界面与人工智能训练平台的训练业务，所述装置包括：
13.一种电子设备，其特征在于，包括存储器、处理器以及存储在存储器上的计算机程序，其中，所述处理器执行所述计算机程序以实现如权利要求1-11中任一项所述的文件传输方法。
14.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-11中任一项所述的文件传输方法。
15.一种计算机可读介质，其特征在于，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-11中任一项所述的文件传输方法。
...【技术特征摘要】
1.一种文件传输方法，其特征在于，应用于人工智能训练平台的文件管理单元，所述文件管理单元用于连接人工智能训练平台的用户界面与人工智能训练平台的训练业务，所述方法包括：
2.根据权利要求1所述的文件传输方法，其特征在于，所述根据所述目标文件集中的各个文件的文件大小与预设文件分片大小之间的大小关系，确定所述目标文件集的分割策略，并基于所述分割策略对所述目标文件集中满足分割条件的文件进行分割，得到待上传文件集，包括：
3.根据权利要求2所述的文件传输方法，其特征在于，所述根据所述目标文件集中的各个文件的文件大小与预设文件分片大小之间的大小关系，确定所述目标文件集的分割策略，并基于所述分割策略对所述目标文件集中满足分割条件的文件进行分割，得到待上传文件集，包括：
4.根据权利要求3所述的文件传输方法，其特征在于，所述方法还包括：
5.根据权利要求3所述的文件传输方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的文件传输方法，其特征在于，所述方法还包括：
7.根据权利要求6所述的文件传输方法，其特征在于，所述针对所述待上传文件集创建临时目录，包括：
<...【专利技术属性】
技术研发人员：郑玉会，
申请(专利权)人：苏州元脑智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。