【技术实现步骤摘要】
所属的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。下面参照图8来描述根据本公开的这种实施方式的电子设备800。图8显示的电子设备800仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。如图8所示，电子设备800以通用计算设备的形式表现。电子设备800的组件可以包括但不限于：上述至少一个处理单元810、上述至少一个存储单元820、连接不同系统组件(包括存储单元820和处理单元810)的总线830以及显示单元840。其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元810执行，使得所述处理单元810执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如，所述处理单元810可以执行如图1中所示的步骤s110：获取训练完成的神经网络模型在训练过程中所访问的历史数据块以及访问所述历史数据块所产生的历史数据块访问日志；步骤s120：根据所述历史数据块确定与训练完成的神经网络模型对应的待训练的神经网络模型在训练过程中所需的待访问数据块；步骤s130：根据所述历史数据块访问日志，确定所述待访问数据块的当前数据访问模式以及当前数据存取顺序，并根据所述数据访问模式确定所述待访问数据块的当前数据缓存层级；步骤s140：根据所述当前数据存取顺序以及当前数据缓存层级对所述待访问数据块进行缓存，并基于所缓存的待访问数据
技术介绍
1、在相关的分布式大模型训练的过程中，存在如下缺陷：一方面，数据访问延迟高：也即计算节点之间频繁的远程数据访问导致高延迟，尤其是在处理大规模模型时，远程数据访问的延迟往往成为系统的主要瓶颈，降低了训练速度；另一方本文档来自技高网...
【技术保护点】
1.一种网络模型的训练方法，其特征在于，包括：
2.根据权利要求1所述的网络模型的训练方法，其特征在于，根据所述历史数据块，确定与训练完成的神经网络模型对应的待训练的神经网络模型在训练过程中所需的待访问数据块，包括：
3.根据权利要求1所述的网络模型的训练方法，其特征在于，根据所述历史数据块访问日志，确定所述待访问数据块的当前数据访问模式以及当前数据存取顺序，包括：
4.根据权利要求3所述的网络模型的训练方法，其特征在于，所述历史数据块包括第一历史数据块、第二历史数据块、…、第N历史数据块，所述待访问数据块包括第一待访问数据块、第二待访问数据块、…、第N待访问数据块；其中，根据所述历史数据块访问日志，确定所述待访问数据块的当前访问概率，包括：
5.根据权利要求3所述的网络模型的训练方法，其特征在于，根据历史数据块访问日志，确定所述待访问数据块的当前数据依赖关系，包括：
6.根据权利要求3所述的网络模型的训练方法，其特征在于，根据所述当前数据访问概率确定待访问数据块的当前数据访问模式，包括：
7.根据权利要求3
8.根据权利要求1所述的网络模型的训练方法，其特征在于，根据所述数据访问模式确定所述待访问数据块的当前数据缓存层级，包括：
9.根据权利要求1所述的网络模型的训练方法，其特征在于，根据所述当前数据存取顺序以及当前数据缓存层级对所述待访问数据块进行缓存，包括：
10.根据权利要求1所述的网络模型的训练方法，其特征在于，所述网络模型的训练方法还包括：
11.根据权利要求10所述的网络模型的训练方法，其特征在于，确定执行与所述待访问数据块对应的数据加载任务的第一任务执行时长，以及执行与所述待训练的神经网络模型对应的数据计算任务的第二任务执行时长，包括：
12.一种网络模型的训练装置，其特征在于，包括：
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-11任一项所述的网络模型的训练方法。
14.一种电子设备，其特征在于，包括：
...【技术特征摘要】
1.一种网络模型的训练方法，其特征在于，包括：
2.根据权利要求1所述的网络模型的训练方法，其特征在于，根据所述历史数据块，确定与训练完成的神经网络模型对应的待训练的神经网络模型在训练过程中所需的待访问数据块，包括：
3.根据权利要求1所述的网络模型的训练方法，其特征在于，根据所述历史数据块访问日志，确定所述待访问数据块的当前数据访问模式以及当前数据存取顺序，包括：
4.根据权利要求3所述的网络模型的训练方法，其特征在于，所述历史数据块包括第一历史数据块、第二历史数据块、…、第n历史数据块，所述待访问数据块包括第一待访问数据块、第二待访问数据块、…、第n待访问数据块；其中，根据所述历史数据块访问日志，确定所述待访问数据块的当前访问概率，包括：
5.根据权利要求3所述的网络模型的训练方法，其特征在于，根据历史数据块访问日志，确定所述待访问数据块的当前数据依赖关系，包括：
6.根据权利要求3所述的网络模型的训练方法，其特征在于，根据所述当前数据访问概率确定待访问数据块的当前数据访问模式，包括：
7.根据权利要...
【专利技术属性】
技术研发人员：高达，
申请(专利权)人：中国电信股份有限公司技术创新中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。