【技术实现步骤摘要】
本申请实施例涉及人工智能领域，尤其涉及一种应用于模型训练的数据处理方法及装置。
技术介绍
1、人工智能(artificial intelligence，ai)正在各行各业中普及落地，包括计算机视觉(computer vision，cv)、自然语言处理、语音语义、多模态等各个领域，都已经从学术界逐渐走向了工业界。而在落地过程中，人员能力偏弱、算力成本预算，都是工业界的核心矛盾。数据量巨大，训练时长久、消耗资源多往往困扰着绝大多数的用户。尤其是在数据维度扩展(如多模态数据同时训练)、数据预处理算法日益复杂(例如图像变换、特征提取、数据增强等)的情况下，在磁盘、cpu、内存等硬件资源有限的情况下，数据迭代速度逐渐开始成为了训练的瓶颈。如何有效地在生产环境上减少不同场景、模型的数据预处理时间，成为了急需攻克的难题。
技术实现思路
1、本申请提供一种应用于模型训练的数据处理方法及装置，能够在一定程度上提高数据迭代效率。
2、为达到上述目的，本申请采用如下技术方案：
3、第一方面，本申请实施例提供一种应用于模型训练的数据处理方法。包括：对数据集中的至少一个数据进行数据处理，得到数据处理信息。其中，数据集包括多个数据，数据处理的过程包括k个数据处理环节，每个数据处理环节对应的数据处理结果是基于前一个数据处理环节的数据处理结果得到的；数据处理信息用于指示k个数据处理环节中的每个数据处理环节的数据处理能力；k为大于0的整数。基于数据处理信息和最大可用缓存空间，确定第一缓存策略
4、示例性的，k个数据处理环节可以是数据处理流程中的所有环节，也可能是数据处理流程中的部分环节。
5、在一种可能的实现方式中，数据处理信息包括以下至少之一：数据处理所需时长、输入数据量、输出数据量、数据存储与读取所需时长。这样，本申请实施例可基于各节点的不同处理能力，确定缓存策略，从而适应不同的场景需求。
6、在一种可能的实现方式中，缓存策略包括：至少一个数据处理环节，至少一个数据处理环节中的每个数据处理环节的缓存比例。这样，本申请实施例中通过精准控制缓存方式，可有效实现最优缓存方式，从而获取到最大的收益。
7、在一种可能的实现方式中，所述至少一个数据处理环节中包括第一数据处理环节，所述第一数据处理环节的部分数据处理结果是预先缓存的。这样，本申请实施例中通过精准控制缓存方式，可有效实现最优缓存方式，从而获取到最大的收益。
8、在一种可能的实现方式中，方法还包括：对数据集中的至少一个数据进行数据处理，得到新数据处理信息；其中，数据处理的过程中的每个数据处理环节对应的数据处理结果是基于前一个数据处理环节的数据处理结果得到的；基于新数据处理信息和当前的最大可用缓存空间，确定第二缓存策略；第二缓存策略与第一缓存策略不相同；若第二缓存策略的预估时长小于第一缓存策略的预估时长，基于第二缓存策略，对数据集中的多个数据进行数据处理；其中，在数据处理过程中，按照第二缓存策略，缓存对应数据处理环节的数据处理结果；第一缓存策略的预估时长用于指示基于第一缓存策略对数据集进行数据处理所需时长，第二缓存策略的预估时长用于指示基于第二缓存策略对数据集进行数据处理所需时长；基于数据集和对应数据处理环节预先缓存的数据处理结果，对目标模型进行训练。这样，本申请实施例通过各节点的处理能力，可动态确定缓存策略，以实现最优缓存方式。示例性的，本申请实施例中可以周期性的执行缓存策略的确定步骤，并基于预估时长，确定是否需要更新缓存策略，从而获取更多的收益。
9、在一种可能的实现方式中，第二缓存策略与第一缓存策略的不同包括：第二缓存策略所指示的需要进行预先缓存的数据处理环节与第一缓存策略所指示的不同；或者，第二缓存策略所指示的需要进行预先缓存的数据处理环节与第一缓存策略所指示的相同，而第二缓存策略所指示的需要进行预先缓存的数据处理环节的缓存比例与第一缓存策略所指示的不同。
10、第二方面，本申请实施例提供一种数据处理装置，包括：处理模块，用于对数据集中的至少一个数据进行数据处理，得到数据处理信息；其中，数据集包括多个数据，数据处理的过程包括k个数据处理环节，每个数据处理环节对应的数据处理结果是基于前一个数据处理环节的数据处理结果得到的；数据处理信息用于指示k个数据处理环节中的每个数据处理环节的数据处理能力；k为大于0的整数；确定模块，用于基于数据处理信息和最大可用缓存空间，确定第一缓存策略；第一缓存策略用于指示k个数据处理环节中需要进行预先缓存的至少一个数据处理环节；处理模块，还用于基于第一缓存策略，对数据集中的多个数据进行数据处理；其中，至少一个数据处理环节的数据处理结果缓存于存储中；处理模块，还用于基于数据集，对目标模型进行训练；其中，对目标模型进行训练的过程中，数据集中的每个数据参与多次迭代，每次迭代对应一次数据处理的过程，其中，k个数据处理环节中的至少一个数据处理环节对应的数据处理结果是从存储中获取的，其它数据处理环节对应的数据处理结果是基于前一个数据处理环节的数据处理结果得到的。
11、在一种可能的实现方式中，数据处理信息包括以下至少之一：数据处理所需时长、输入数据量、输出数据量、数据存储与读取所需时长。
12、在一种可能的实现方式中，第一缓存策略包括：至少一个数据处理环节，至少一个数据处理环节中的每个数据处理环节的缓存比例，预估时长；其中，预估时长用于指示基于第一缓存策略进行一次迭代所需时长。
13、在一种可能的实现方式中，处理模块，还用于对数据集中的至少一个数据进行数据处理，得到新数据处理信息；其中，数据处理的过程中的每个数据处理环节对应的数据处理结果是基于前一个数据处理环节的数据处理结果得到的；确定模块，还用于基于新数据处理信息和当前的最大可用缓存空间，确定第二缓存策略；第二缓存策略与第一缓存策略不相同；处理模块，还用于若第二缓存策略的预估时长小于第一缓存策略的预估时长，基于第二缓存策略，对数据集中的多个数据进行数据处理；其中，在数据处理过程中，按照第二缓存策略，缓存对应数据处理环节的数据处理结果；第一缓存策略的预估时长用于本文档来自技高网...
【技术保护点】
1.一种应用于模型训练的数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述数据处理信息包括以下至少之一：数据处理所需时长、输入数据量、输出数据量、数据存储与读取所需时长。
3.根据权利要求1所述的方法，其特征在于，所述第一缓存策略包括：
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述第二缓存策略与所述第一缓存策略的不同包括：
6.一种应用于模型训练的数据处理装置，其特征在于，包括：
7.根据权利要求6所述的装置，其特征在于，所述数据处理信息包括以下至少之一：数据处理所需时长、输入数据量、输出数据量、数据存储与读取所需时长。
8.根据权利要求6所述的装置，其特征在于，所述第一缓存策略包括：
9.根据权利要求6所述的装置，其特征在于，
10.根据权利要求9所述的装置，其特征在于，所述第二缓存策略与所述第一缓存策略的不同包括：
11.一种计算机存储介质，其特征在于，包括计算机指令
12.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1-5任一项所述的方法。
13.一种芯片，其特征在于，包括一个或多个接口电路和一个或多个处理器；所述接口电路用于从电子设备的存储器接收信号，并向所述处理器发送所述信号，所述信号包括存储器中存储的计算机指令；当所述处理器执行所述计算机指令时，使得所述电子设备执行权利要求1-5任一项所述的方法。
...【技术特征摘要】
1.一种应用于模型训练的数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述数据处理信息包括以下至少之一：数据处理所需时长、输入数据量、输出数据量、数据存储与读取所需时长。
3.根据权利要求1所述的方法，其特征在于，所述第一缓存策略包括：
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述第二缓存策略与所述第一缓存策略的不同包括：
6.一种应用于模型训练的数据处理装置，其特征在于，包括：
7.根据权利要求6所述的装置，其特征在于，所述数据处理信息包括以下至少之一：数据处理所需时长、输入数据量、输出数据量、数据存储与读取所需时长。
8.根据权利要求6所述的装置，其特征在于，所述第一...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。