System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种数据均衡处理方法、系统、装置、设备及存储介质制造方法及图纸_技高网

一种数据均衡处理方法、系统、装置、设备及存储介质制造方法及图纸

技术编号:43868442 阅读:6 留言:0更新日期:2024-12-31 18:54
本申请提供了一种数据均衡处理方法、系统、装置、设备及存储介质,涉及计算机技术领域,旨在解决如何在多引擎多通道DMA中实现高效的数据搬移以及性能均衡场景测试时能加速性能收敛的问题。该方法包括:基于直接内存访问模块的引擎数目,对待处理数据在输入直接内存访问模块的各个引擎时进行第一均衡处理,第一均衡处理用于将待处理数据均匀分配到各个引擎上;对分配至该单个引擎的待处理数据在输入该单个引擎的各个通道时进行第二均衡处理,第二均衡处理用于将分配至该单个引擎的数据均匀分配到该单个引擎的各个通道中;通过直接内存访问模块的各个引擎的各个通道将待处理数据传输至与直接内存访问模块连接的数据处理模块。

【技术实现步骤摘要】

本申请实施例涉及计算机,尤其涉及一种数据均衡处理方法、系统、装置、设备及存储介质


技术介绍

1、dma(direct memory access)技术,即直接存储器访问技术,是一种允许外部设备(如图形卡、硬盘等)直接与计算机的主内存进行交互的技术,而无需中央处理器的干预。多引擎多通道dma是dma技术的一种扩展,它允许多个dma引擎同时操作多个通道,从而实现了数据的并行传输和处理,进一步提高了数据传输效率。

2、对多引擎多通道dma的性能验证,通常采用sv(systemverilog)的fork...join方式,然而在使用sv提供的系统函数对随机数据做选取时,会出现随机数的重复选取,因而会出现某些引擎或者某些通道会被多次重复命中导致的分布不均的现象,使得系统性能均衡场景的测试下数据传输会变得低效,无法满足性能测试的预期目标。


技术实现思路

1、基于上述技术问题,本申请实施例提供一种数据均衡处理方法、系统、装置、设备及存储介质,旨在如何在多引擎多通道dma中实现高效的数据搬移以及性能均衡场景测试时能加速性能收敛。

2、本申请实施例第一方面提供了一种数据均衡处理方法,所述方法包括:

3、基于直接内存访问模块的引擎数目,对待处理数据在输入所述直接内存访问模块的各个引擎时进行第一均衡处理,所述第一均衡处理用于将所述待处理数据均匀分配到各个引擎上;

4、基于各个引擎中单个引擎内通道数目,对分配至该单个引擎的待处理数据在输入该单个引擎的各个通道时进行第二均衡处理,所述第二均衡处理用于将分配至该单个引擎的数据均匀分配到该单个引擎的各个通道中;

5、通过直接内存访问模块的各个引擎的各个通道将待处理数据传输至与直接内存访问模块连接的数据处理模块。

6、可选地,基于直接内存访问模块的引擎数目,对待处理数据在输入所述直接内存访问模块的各个引擎时进行第一均衡处理,包括:

7、根据引擎数目对待传输数据进行分组处理,得到与引擎数目相匹配的多组数据;

8、将多组数据与所述直接内存访问模块的各个引擎随机进行一一匹配。

9、可选地,所述方法还包括:

10、在检测到对直接内存访问模块的性能测试测试指令时,获取用于引擎输入的随机变量和随机变量的数据长度;

11、按照随机变量数据长度可支持的位宽范围,生成随机数据集合,将随机数据集合缓存到第一队列;

12、通过调用乱序函数对第一队列中的数据进行乱序处理;

13、根据引擎数目对乱序处理后的数据进行分组处理,得到与引擎数目相匹配的多组数据;

14、将多组数据与所述直接内存访问模块的各个引擎随机进行一一匹配。

15、可选地,所述方法还包括:

16、在检测到对直接内存访问模块的m次性能测试测试请求时,在检测到对直接内存访问模块的性能测试测试请求时,获取用于引擎输入的随机变量和随机变量的数据长度;

17、按照随机变量数据长度可支持的位宽范围,生成随机数据集合,将随机数据集合缓存到第一队列;

18、通过调用乱序函数对第一队列中的数据进行乱序处理;

19、根据引擎数目对乱序处理后的数据进行分组处理,得到与引擎数目相匹配的多组数据;

20、将多组数据与所述直接内存访问模块的各个引擎随机进行m次一一匹配,以实现多组数据轮询匹配至所述直接内存访问模块的m个引擎。

21、可选地,直接内存访问模块的引擎数目是n,基于各个引擎中单个引擎内通道数目,对分配至该单个引擎的待处理数据在输入该单个引擎的各个通道时进行第二均衡处理,包括:

22、基于各个引擎中第n个引擎内通道数目,将第n个引擎的各个通道的通道标识添加第二队列中;

23、根据第n个引擎的通道个数,对分配至第n个引擎的待处理数据进行分组处理,得到与通道个数相匹配的多个数据段;

24、通过调用乱序函数对第二队列中的通道标识进行乱序处理;

25、将经过乱序处理后的各个通道标识与所述多个数据段随机进行一一匹配。

26、本申请实施例第二方面提供了一种数据均衡处理系统,所述系统包括:

27、直接内存访问模块,直接内存访问模块包括多个引擎且每个引擎具有多个通道;

28、数据处理模块,与所述直接内存访问模块连接;

29、数据均衡处理装置,用于执行权利要求1-5任一所述的数据均衡处理方法,以通过所述直接内存访问模块的各个引擎的各个通道将待处理数据传输至所述数据处理模块。

30、可选地,所述系统还包括:

31、激励源,用于产生随机数据并发送给所述数据均衡处理装置;

32、所述数据均衡处理装置还用于将所述随机数据确定为待处理数据。

33、可选地,所述系统还包括:

34、测试终端,用于生成对直接内存访问模块的性能测试测试指令并发送给所述数据均衡处理装置。

35、本申请实施例第三方面提供了一种数据均衡处理装置,所述装置包括:

36、第一均衡处理模块,用于基于直接内存访问模块的引擎数目,对待处理数据在输入所述直接内存访问模块的各个引擎时进行第一均衡处理,所述第一均衡处理用于将所述待处理数据均匀分配到各个引擎上;

37、第二均衡处理模块,用于基于各个引擎中单个引擎内通道数目,对分配至该单个引擎的待处理数据在输入该单个引擎的各个通道时进行第二均衡处理,所述第二均衡处理用于将分配至该单个引擎的数据均匀分配到该单个引擎的各个通道中;

38、传输模块,用于通过直接内存访问模块的各个引擎的各个通道将待处理数据传输至与直接内存访问模块连接的数据处理模块。

39、本申请实施例第四方面提供了一种电子设备,所述电子设备包括:包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述计算机程序被该处理器执行时实现如本申请实施例第一方面的数据均衡处理方法。

40、本申请实施例第五方面提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现本申请实施例第一方面的数据均衡处理方法。

41、通过本申请实施例的数据均衡处理方法,基于直接内存访问模块的引擎数目,对待处理数据在输入所述直接内存访问模块的各个引擎时进行第一均衡处理,所述第一均衡处理用于将所述待处理数据均匀分配到各个引擎上;基于各个引擎中单个引擎内通道数目,对分配至该单个引擎的待处理数据在输入该单个引擎的各个通道时进行第二均衡处理,所述第二均衡处理用于将分配至该单个引擎的数据均匀分配到该单个引擎的各个通道中;通过直接内存访问模块的各个引擎的各个通道将待处理数据传输至与直接内存访问模块连接的数据处理模块。

42、在本实施例中,本申请通过对待处理数据输入多引擎时做第一均衡处理,使得各个引擎能共同承担系统数据传输任务,本文档来自技高网...

【技术保护点】

1.一种数据均衡处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的一种数据均衡处理方法,其特征在于,基于直接内存访问模块的引擎数目,对待处理数据在输入所述直接内存访问模块的各个引擎时进行第一均衡处理,包括:

3.根据权利要求1所述的一种数据均衡处理方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的一种数据均衡处理方法,其特征在于,所述方法还包括:

5.根据权利要求1-4任一所述的一种数据均衡处理方法,其特征在于,直接内存访问模块的引擎数目是N,基于各个引擎中单个引擎内通道数目,对分配至该单个引擎的待处理数据在输入该单个引擎的各个通道时进行第二均衡处理,包括:

6.一种数据均衡处理系统,其特征在于,所述系统包括:

7.根据权利要求6所述的一种数据均衡处理系统,其特征在于,所述系统还包括:

8.根据权利要求6或7所述的一种数据均衡处理系统,其特征在于,所述系统还包括:

9.一种数据均衡处理装置,其特征在于,所述装置包括:

10.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述计算机程序被所述处理器执行时实现如权利要求1至5任一所述的数据均衡处理方法。

11.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一所述的数据均衡处理方法。

...

【技术特征摘要】

1.一种数据均衡处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的一种数据均衡处理方法,其特征在于,基于直接内存访问模块的引擎数目,对待处理数据在输入所述直接内存访问模块的各个引擎时进行第一均衡处理,包括:

3.根据权利要求1所述的一种数据均衡处理方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的一种数据均衡处理方法,其特征在于,所述方法还包括:

5.根据权利要求1-4任一所述的一种数据均衡处理方法,其特征在于,直接内存访问模块的引擎数目是n,基于各个引擎中单个引擎内通道数目,对分配至该单个引擎的待处理数据在输入该单个引擎的各个通道时进行第二均衡处理,包括:

6.一种数据...

【专利技术属性】
技术研发人员:范晓钊曹铸刘博钱梦依
申请(专利权)人:山东云海国创云计算装备产业创新中心有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1