【技术实现步骤摘要】
本申请属于计算机，具体涉及一种数据处理方法、装置、电子设备及存储介质。
技术介绍
1、由于人工智能(artificial intelligence，ai)大模型训练的数据量大、且数据多样性以及数据格式的复杂性，需要将训练数据先执行清洗操作，将清洗后的数据存储在分布式的文件系统中，然后再加载到异构计算设备执行模型的训练计算。
2、当训练数据被加载到异构设备执行计算时，由于模型训练的每个迭代需要将数据随机打乱，每次的迭代训练打乱操作都需要执行异构计算卡和中央处理器(centralprocessing unit，cpu)之间的频繁交互，而每次的交互都涉及到数据在内存和显存之间的拷贝操作，从而增加模型训练过程对系统资源的消耗，降低模型训练的效率。
技术实现思路
1、为了解决上述技术问题，本申请提供一种数据处理方法、装置、电子设备及存储介质。
2、一方面，本申请提出了一种数据处理方法，所述方法包括：
3、确定目标模型训练过程中所需的训练数据的目标数据类型；
4、获取与所述目标数据类型对应的初始显存数据；所述初始显存数据为在基于预设异构计算设备和预设训练数据对预设模型进行迭代训练的过程中，根据所述预设异构计算设备的显存中的预设显存空间和预设训练信息的命中率确定得到，所述命中率表征所述预设训练信息位于所述预设显存空间中的概率，所述预设训练信息包括预设训练数据或所述预设训练数据的元数据，所述预设训练数据的数据类型为所述目标数据类型；
5、
6、存储目标训练信息至所述初始显存空间；所述目标训练信息包括所述所需的训练数据或所述所需的训练数据的元数据；
7、从所述初始显存空间中的目标训练信息中获取所述目标模型的当前训练所需的当前训练信息；
8、基于所述异构计算设备和所述当前训练信息对所述目标模型进行迭代训练，并根据所述目标显存的使用情况调整所述初始显存数据；调整后的初始显存数据用于确定存储所述目标模型的训练数据或训练数据的元数据的显存空间。
9、另一方面，本申请提出了一种数据处理装置，所述装置包括：
10、数据类型确定模块，用于确定目标模型训练过程中所需的训练数据的目标数据类型；
11、初始显存数据获取模块，用于获取与所述目标数据类型对应的初始显存数据；所述初始显存数据为在基于预设异构计算设备和预设训练数据对预设模型进行迭代训练的过程中，根据所述预设异构计算设备的显存中的预设显存空间和预设训练信息的命中率确定得到，所述命中率表征所述预设训练信息位于所述预设显存空间中的概率，所述预设训练信息包括预设训练数据或所述预设训练数据的元数据，所述预设训练数据的数据类型为所述目标数据类型；
12、初始显存空间确定模块，用于在训练所述目标模型的异构计算设备的目标显存中，确定与所述初始显存数据对应的初始显存空间；
13、目标训练信息存储模块，用于存储目标训练信息至所述初始显存空间；所述目标训练信息包括所述所需的训练数据或所述所需的训练数据的元数据；
14、当前训练信息获取模块，用于从所述初始显存空间中的目标训练信息中获取所述目标模型的当前训练所需的当前训练信息；
15、训练调整模块，用于基于所述异构计算设备和所述当前训练信息对所述目标模型进行迭代训练，并根据所述目标显存的使用情况调整所述初始显存数据；调整后的初始显存数据用于确定存储所述目标模型的训练数据或训练数据的元数据的显存空间。
16、另一方面，本申请提出了一种数据处理的电子设备，所述电子设备包括处理器和存储器，存储器中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以实现如上述所述的数据处理方法。
17、另一方面，本申请提出了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述所述的数据处理方法。
18、另一方面，本申请提出了一种计算机程序产品，包括计算机程序，所述计算机程被处理器执行时实现如上述所述的数据处理方法。
19、本申请实施例提出的数据处理方法、装置、电子设备及存储介质，在目标模型训练过程中，确定目标模型训练过程中所需的训练数据的目标数据类型，获取与该目标数据类型对应的初始显存数据，在训练该目标模型的异构计算设备中申请与该初始显存数据对应的初始显存空间，加载目标训练信息(所需的训练数据或所需的训练数据的元数据)至初始显存空间，从初始显存空间中的目标训练信息中获取目标模型的当前训练所需的当前训练信息，基于异构计算设备和当前训练信息对目标模型进行迭代训练，并根据目标显存的使用情况调整初始显存数据，由此，能够将训练数据或训练数据的元数据显存化至预先申请的初始显存空间中，在训练过程中直接从初始显存空间中获取训练数据或训练数据的元数据即可，使得训练数据或训练数据的元数据的读取无需经过cpu和内存，从而减少异构计算设备与cpu之间的频繁交互，降低数据在内存和显存之间的拷贝操作次数，从而降低模型训练过程对系统资源的消耗，提升模型训练的效率，且在训练过程中，可以根据目标显存的使用情况动态调整初始显存数据，以实现更高的命中率，进一步提升模型训练效率。
本文档来自技高网...【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的数据处理方法，其特征在于，所述初始显存数据的生成方法包括：
3.根据权利要求2所述的数据处理方法，其特征在于，所述根据命中次数累加值和非命中次数累加值生成所述预设训练信息对应的命中率，包括：
4.根据权利要求2所述的数据处理方法，其特征在于，所述根据所述预设显存空间的大小和所述命中率对显存数据进行预估，得到所述预设训练数据的目标数据类型对应的初始显存数据，包括：
5.根据权利要求1至4中任一项所述的数据处理方法，其特征在于，所述存储目标训练信息至所述初始显存空间，包括：
6.根据权利要求5所述的数据处理方法，其特征在于，所述从所述初始显存空间中的目标训练信息中获取所述目标模型的当前训练所需的当前训练信息，包括：
7.根据权利要求5所述的数据处理方法，其特征在于，所述从所述初始显存空间中的目标训练信息中获取所述目标模型的当前训练所需的当前训练信息，包括：
8.根据权利要求7所述的数据处理方法，其特征在于，所述基于所述异构计算设
9.根据权利要求1至4中任一项所述的数据处理方法，其特征在于，所述基于所述异构计算设备和所述当前训练信息对所述目标模型进行迭代训练，并根据所述目标显存的使用情况调整所述初始显存数据，包括：
10.根据权利要求9所述的数据处理方法，其特征在于，所述在确定所述目标显存未出现剩余空间不足的情况下，确定目标命中率，包括：
11.根据权利要求9所述的数据处理方法，其特征在于，所述根据所述目标命中率对所述初始显存数据进行调整，得到所述调整后的初始显存数据，包括：
12.一种数据处理装置，其特征在于，所述装置包括：
13.一种数据处理的电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行如权利要求1至11中任一项所述的数据处理方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1至11中任一项所述的数据处理方法。
...【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的数据处理方法，其特征在于，所述初始显存数据的生成方法包括：
3.根据权利要求2所述的数据处理方法，其特征在于，所述根据命中次数累加值和非命中次数累加值生成所述预设训练信息对应的命中率，包括：
4.根据权利要求2所述的数据处理方法，其特征在于，所述根据所述预设显存空间的大小和所述命中率对显存数据进行预估，得到所述预设训练数据的目标数据类型对应的初始显存数据，包括：
5.根据权利要求1至4中任一项所述的数据处理方法，其特征在于，所述存储目标训练信息至所述初始显存空间，包括：
6.根据权利要求5所述的数据处理方法，其特征在于，所述从所述初始显存空间中的目标训练信息中获取所述目标模型的当前训练所需的当前训练信息，包括：
7.根据权利要求5所述的数据处理方法，其特征在于，所述从所述初始显存空间中的目标训练信息中获取所述目标模型的当前训练所需的当前训练信息，包括：
8.根据权利要求7所述的数据处理方法，其特征在于，所述基于所述异构计算设备和所述当前训练信息对所述目标模型...
【专利技术属性】
技术研发人员：查冲，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。