System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及数据处理,尤其涉及一种数据处理方法、装置、设备和存储介质。
技术介绍
1、目前随着科技的发展,大数据技术和人工智能的应用越来越广泛,对于计算设备来说需要处理大量的数据样本。计算设备一般会有多个计算核心(core)或者计算模块,为了使大量的数据样本在计算设备上完成运行,现有运行模式主要有以下几种:1.在单计算核心或模块上进行计算,也称为单核心运行模式;2.尽可能将大量数据样本均分到所有计算核心同时进行计算,也称为全核心运行模式。
2、对于单核心运行模式来说,所有数据样本均在同一个计算核心上进行计算,此模式效率极低。对于全核心运行模式来说,相比于单核心运行模式,执行效率得到了提升,然而,当数据样本数量无法均分到所有计算核心上时,仍然会导致有较多计算核心进行无效运转,导致了功耗浪费。
技术实现思路
1、本专利技术提供一种数据处理方法、装置、设备和存储介质,用以解决现有技术中计算效率低,功耗较大的缺陷,实现一种计算效率较高且功耗较小的数据处理方法。
2、本专利技术提供一种数据处理方法,包括:
3、根据可用的计算核心的数量以及数据样本的数量,确定当运行的计算核心的总运行次数最少时,所述运行的计算核心的最少数量;
4、利用所述最少数量个计算核心,对所述数据样本进行处理。
5、根据本专利技术提供的一种数据处理方法,所述利用所述最少数量个计算核心,对所述数据样本进行处理,包括:
6、根据所述最少数量以及所述数据样
7、根据所述第一运行次数,利用所述最少数量个计算核心对所述数据样本进行处理。
8、根据本专利技术提供的一种数据处理方法,所述根据所述第一运行次数,利用所述最少数量个计算核心对所述数据样本进行处理,包括:
9、针对所述最少数量个计算核心中任一所述计算核心,利用所述计算核心根据所述第一运行次数、所述数据样本中的起始数据样本以及所述最少数量个计算核心的数据获取顺序,获取所述数据样本中的目标数据样本,并对所述目标数据样本依次进行处理。
10、根据本专利技术提供的一种数据处理方法,所述利用所述计算核心根据所述第一运行次数、所述数据样本中的起始数据样本以及所述最少数量个计算核心的数据获取顺序,获取所述数据样本中的目标数据样本,包括:
11、利用所述计算核心根据所述第一运行次数以及所述数据获取顺序,确定目标偏移量;
12、利用所述计算核心根据所述目标偏移量以及所述数据样本中的起始数据样本,获取所述数据样本中的目标数据样本。
13、根据本专利技术提供的一种数据处理方法,任一所述计算核心处理的目标数据样本的样本编号连续。
14、根据本专利技术提供的一种数据处理方法,在所述数据样本的数量不是所述最少数量的整数倍时,目标计算核心的第二运行次数为所述数据样本的数量对所述第一运行次数取余的结果,所述目标计算核心为所述最少数量个计算核心中任一个计算核心;
15、所述最少数量个计算核心中除所述目标计算核心之外的其它计算核心的运行次数为所述第一运行次数。
16、根据本专利技术提供的一种数据处理方法,所述根据可用的计算核心的数量以及数据样本的数量,确定当运行的计算核心的总运行次数最少时,所述运行的计算核心的最少数量,包括:
17、对所述数据样本的数量和所述可用的计算核心的数量的比值进行向上取整,得到中间结果;
18、对所述数据样本的数量和所述中间结果的比值进行向上取整,得到所述最少数量。
19、根据本专利技术提供的一种数据处理方法,所述根据所述最少数量以及所述数据样本的数量,确定所述计算核心的第一运行次数,包括:
20、对所述数据样本的数量与所述最少数量的比值进行向上取整,得到所述第一运行次数。
21、本专利技术还提供一种数据处理装置,包括:
22、确定模块,用于根据可用的计算核心的数量以及数据样本的数量,确定当运行的计算核心的总运行次数最少时,所述运行的计算核心的最少数量;
23、处理模块,用于利用所述最少数量个计算核心,对所述数据样本进行处理。
24、本专利技术还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述数据处理方法。
25、本专利技术还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述数据处理方法。
26、本专利技术还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述数据处理方法。
27、本专利技术提供的数据处理方法、装置、设备和存储介质,根据可用的计算核心的数量以及数据样本的数量,确定当运行的计算核心的总运行次数最少时,所述运行的计算核心的最少数量,利用所述最少数量个计算核心,对所述数据样本进行处理,上述方案中在总运行次数最少时选取最少数量的计算核心进行运行,其余可用的计算核心关闭,可以降低功耗,由于总运行次数最少则运行效率最大,即能够在保证运行效率最大化的同时,尽可能的降低设备功耗。
本文档来自技高网...【技术保护点】
1.一种数据处理方法,其特征在于,包括:
2.根据权利要求1所述的数据处理方法,其特征在于,所述利用所述最少数量个计算核心,对所述数据样本进行处理,包括:
3.根据权利要求2所述的数据处理方法,其特征在于,所述根据所述第一运行次数,利用所述最少数量个计算核心对所述数据样本进行处理,包括:
4.根据权利要求3所述的数据处理方法,其特征在于,所述利用所述计算核心根据所述第一运行次数、所述数据样本中的起始数据样本以及所述最少数量个计算核心的数据获取顺序,获取所述数据样本中的目标数据样本,包括:
5.根据权利要求3或4所述的数据处理方法,其特征在于,
6.根据权利要求2-4任一项所述的数据处理方法,其特征在于,
7.根据权利要求1-4任一项所述的数据处理方法,其特征在于,所述根据可用的计算核心的数量以及数据样本的数量,确定当运行的计算核心的总运行次数最少时,所述运行的计算核心的最少数量,包括:
8.根据权利要求2-4任一项所述的数据处理方法,其特征在于,所述根据所述最少数量以及所述数据样本的数量,确定所述
9.一种数据处理装置,其特征在于,包括:
10.一种计算设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至8任一项所述数据处理方法。
11.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8任一项所述数据处理方法。
12.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8任一项所述数据处理方法。
...【技术特征摘要】
1.一种数据处理方法,其特征在于,包括:
2.根据权利要求1所述的数据处理方法,其特征在于,所述利用所述最少数量个计算核心,对所述数据样本进行处理,包括:
3.根据权利要求2所述的数据处理方法,其特征在于,所述根据所述第一运行次数,利用所述最少数量个计算核心对所述数据样本进行处理,包括:
4.根据权利要求3所述的数据处理方法,其特征在于,所述利用所述计算核心根据所述第一运行次数、所述数据样本中的起始数据样本以及所述最少数量个计算核心的数据获取顺序,获取所述数据样本中的目标数据样本,包括:
5.根据权利要求3或4所述的数据处理方法,其特征在于,
6.根据权利要求2-4任一项所述的数据处理方法,其特征在于,
7.根据权利要求1-4任一项所述的数据处理方法,其特征在于,所述根据可用的计算核心的数量以及数据样...
【专利技术属性】
技术研发人员:请求不公布姓名,请求不公布姓名,请求不公布姓名,请求不公布姓名,请求不公布姓名,请求不公布姓名,
申请(专利权)人:上海壁仞科技股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。