System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于内存扩展的计算装置、系统及计算方法制造方法及图纸_技高网

一种基于内存扩展的计算装置、系统及计算方法制造方法及图纸

技术编号:42195021 阅读:17 留言:0更新日期:2024-07-30 18:43
本申请公开了一种基于内存扩展的计算装置、系统及计算方法,涉及计算机技术领域。该装置包括:闪存、闪存控制器、数据流处理模块、子协议复用及仲裁模块、协议控制器、内存、内存控制器;其中,闪存用于存储文件数据,以便直接在计算装置内完成文件加载至内存的操作;闪存控制器与数据流处理模块通过数据路径相连;闪存控制器,用于获取主机处理器发送的文件读任务或文件写任务,并通过内存映射总线发起文件读操作或文件写操作;数据流处理模块,用于根据计算任务通过闪存控制器访问闪存,和/或,根据计算任务通过内存控制器访问内存。缩短了数据的交换路径,提升对内存数据的计算任务的灵活性,避免频繁加载文件导致的时延,提升了计算效率。

【技术实现步骤摘要】

本专利技术涉及计算机,特别涉及一种基于内存扩展的计算装置、系统及计算方法


技术介绍

1、目前,计算机系统中对于内存容量的需求越来越高,相关技术中采用内存扩展装置来扩展内存容量。另外,目前针对很多新型计算问题,计算过程中涉及到tb(terabyte,太字节)级文件数据,比如图神经网络的训练数据最高可达100tb级;运行过程中,应用程序以最小单位(2kb/4kb)将文件从主机侧加载到内存扩展装置的内存中,然后执行计算任务;在一个完整的计算任务中,往往需要在不同阶段加载文件最终遍历整个文件范围,频繁加载文件以及频繁写入文件的过程会产生较大的时间消耗,降低了计算效率。


技术实现思路

1、有鉴于此,本专利技术的目的在于提供一种基于内存扩展的计算装置、系统及计算方法,能够缩短数据交换路径,提升计算效率。其具体方案如下:

2、第一方面,本申请公开了一种基于内存扩展的计算装置,包括闪存、闪存控制器、数据流处理模块、协议控制器、子协议复用及仲裁模块、内存、内存控制器;其中,所述闪存用于存储文件数据,以便直接在所述基于内存扩展的计算装置内完成文件加载至内存的操作;所述闪存控制器与所述数据流处理模块通过数据路径相连,以便所述数据流处理模块通过所述闪存控制器访问所述文件数据;

3、所述闪存控制器,用于获取主机处理器发送的文件读任务或文件写任务,并通过内存映射总线发起文件读操作或文件写操作;

4、所述数据流处理模块,用于根据计算任务通过所述闪存控制器访问所述闪存中数据并进行数据计算,和/或,根据计算任务通过所述内存控制器访问所述内存中数据并进行数据计算。

5、可选的,所述协议控制器,用于获取主机处理器下发的文件读写任务,并将所述文件读写任务转发至子协议复用及仲裁模块;

6、所述子协议复用及仲裁模块,用于根据所述文件读写任务修改所述闪存控制器的控制状态寄存器的值,以便所述闪存控制器通过读取所述控制状态寄存器的值,执行所述通过内存映射总线发起文件读操作或文件写操作的步骤。

7、可选的,所述闪存控制器与所述子协议复用及仲裁模块通过数据路径相连;所述数据路径用于双向传输文件数据;

8、所述闪存控制器与所述子协议复用及仲裁模块通过控制路径相连;所述控制路径用于访问所述闪存控制器的控制状态寄存器。

9、可选的,所述子协议复用及仲裁模块包括子协议仲裁子模块和子协议复用子模块;

10、所述子协议仲裁子模块,用于按照报头将事务层报文分解为内存访问事务、配置事务、输入输出事务、消息事务;

11、所述子协议复用子模块,用于对所述内存访问事务、所述配置事务、所述输入输出事务、所述消息事务的请求对应的响应进行编码,生成事务层报文。

12、可选的,所述子协议复用及仲裁模块包括中断信号输入接口,用于接收中断信号;

13、所述子协议复用及仲裁模块,还用于根据中断信号生成信号中断消息事务发送给所述协议控制器。

14、可选的,所述子协议复用及仲裁模块包括针对内存访问事务构建的第一内存访问通道、第二内存访问通道、第三内存访问通道;

15、所述第一内存访问通道为控制通道,所述第一内存访问通道用于结合第一控制路径访问闪存控制器的控制状态寄存器;

16、所述第二内存访问通道为控制通道,所述第二内存访问通道用于结合第二控制路径访问数据流处理模块中的控制状态寄存器;

17、所述第三内存访问通道为数据通道,所述第三内存访问通道用于结合第一数据路径与闪存控制器进行文件数据双向传输。

18、可选的,所述数据流处理模块包括数据流处理引擎和指令集处理器;所述数据流处理引擎为基于现场可编程逻辑门阵列构建的集成电路;

19、所述数据流处理引擎与所述协议控制器通过第二数据路径相连;所述第二数据路径用于传输主机处理器发送的对内存的读/写访问请求;

20、所述数据流处理引擎与所述指令集处理器通过第三数据路径相连;所述第三数据路径用于所述数据流处理引擎与所述指令集处理器之间的数据交互;

21、所述数据流处理引擎与所述指令集处理器通过第三控制路径相连所述第三控制路径用于所述指令集处理器访问所述数据流处理引擎的控制状态寄存器;

22、所述数据流处理引擎与所述闪存控制器通过第四数据路径相连;所述第四数据路径用于所述数据流处理引擎访问所述闪存中的文件数据;

23、所述数据流处理引擎与所述内存控制器通过第五数据路径相连;所述第五数据路径用于所述数据流处理引擎访问所述内存中的元数据;

24、所述指令集处理器与所述内存控制器通过第六数据路径相连;所述第六数据路径用于所述指令集处理器与所述内存控制器之间的数据传输。

25、可选的,所述数据流处理模块还包括中断管理器;

26、所述中断管理器,用于接收所述数据流处理引擎发送的中断信号,接收所述指令集处理器发送的中断信号,将所述数据流处理引擎发送的目标中断信号转发至所述指令集处理器;

27、所述中断管理器,用于将接收到的中断信号提交至所述子协议复用及仲裁模块。

28、可选的,所述数据流处理引擎包括写数据流处理路径和读数据流处理路径;

29、所述写数据流处理路径为按照先进先出存储器、下行流处理核心和先进先出存储器的顺序构建;所述写数据流处理路径用于处理内存写入事务;

30、所述读数据流处理路径为按照先进先出存储器、上行流处理核心和先进先出存储器的顺序构建;所述读数据流处理路径用于处理内存读取事务。

31、可选的,所述下行流处理核心和所述上行流处理核心均通过外部存储接口与互联总线相连,所述互联总线分别与所述闪存控制器和所述内存控制器相连;

32、可选的,所述下行流处理核心和所述上行流处理核心均包含控制状态寄存器接口,用于状态控制及状态查询。

33、可选的,所述计算装置还包括消息管理器,所述消息管理器用于处理所述数据流处理模块的中断信号以及所述协议控制器的事务层中子协议报文的转换。

34、可选的,所述计算装置的配置信息中包含闪存信息和内存信息,以便所述计算装置被连接的主机识别为硬盘及内存设备。

35、第二方面,本申请公开了一种基于内存扩展的计算系统,包括主机、以及上述基于内存扩展的计算装置,所述主机与所述基于内存扩展的计算装置相连。

36、第三方面,本申请公开了一种计算方法,包括:

37、通过闪存存储文件数据,以便直接在基于内存扩展的计算装置内完成文件加载至内存的操作;

38、通过闪存控制器获取主机处理器发送的文件读任务或文件写任务,并通过内存映射总线发起文件读操作或文件写操作;

39、数据流处理模块中的数据流处理引擎,通过闪存控制器访问闪存中数据以执行计算任务;

40、所述数据流处理模块中的数据流处理引擎,通过内存控制器访问内本文档来自技高网...

【技术保护点】

1.一种基于内存扩展的计算装置,其特征在于,包括闪存、闪存控制器、数据流处理模块、子协议复用及仲裁模块、协议控制器、内存、内存控制器;其中,所述闪存用于存储文件数据,以便直接在所述基于内存扩展的计算装置内完成文件加载至内存的操作;所述闪存控制器与所述数据流处理模块通过数据路径相连,以便所述数据流处理模块通过所述闪存控制器访问所述文件数据;

2.根据权利要求1所述的基于内存扩展的计算装置,其特征在于,所述协议控制器,用于获取主机处理器下发的文件读写任务,并将所述文件读写任务转发至子协议复用及仲裁模块;

3.根据权利要求1所述的基于内存扩展的计算装置,其特征在于,所述闪存控制器与所述子协议复用及仲裁模块通过数据路径相连;所述数据路径用于双向传输文件数据;

4.根据权利要求1所述的基于内存扩展的计算装置,其特征在于,所述子协议复用及仲裁模块包括子协议仲裁子模块和子协议复用子模块;

5.根据权利要求4所述的基于内存扩展的计算装置,其特征在于,所述子协议复用及仲裁模块包括中断信号输入接口,用于接收中断信号;

6.根据权利要求4所述的基于内存扩展的计算装置,其特征在于,所述子协议复用及仲裁模块包括针对内存访问事务构建的第一内存访问通道、第二内存访问通道、第三内存访问通道;

7.根据权利要求1所述的基于内存扩展的计算装置,其特征在于,所述数据流处理模块包括数据流处理引擎和指令集处理器;所述数据流处理引擎为基于现场可编程逻辑门阵列构建的集成电路;

8.根据权利要求7所述的基于内存扩展的计算装置,其特征在于,所述数据流处理模块还包括中断管理器;

9.根据权利要求7所述的基于内存扩展的计算装置,其特征在于,所述数据流处理引擎包括写数据流处理路径和读数据流处理路径;

10.根据权利要求9所述的基于内存扩展的计算装置,其特征在于,所述下行流处理核心和所述上行流处理核心均通过外部存储接口与互联总线相连,所述互联总线分别与所述闪存控制器和所述内存控制器相连。

11.根据权利要求9所述的基于内存扩展的计算装置,其特征在于,所述下行流处理核心和所述上行流处理核心均包含控制状态寄存器接口,用于状态控制及状态查询。

12.根据权利要求1所述的基于内存扩展的计算装置,其特征在于,还包括消息管理器,所述消息管理器用于处理所述数据流处理模块的中断信号以及所述协议控制器的事务层中子协议报文的转换。

13.根据权利要求1至12任一项所述的基于内存扩展的计算装置,其特征在于,所述计算装置的配置信息中包含闪存信息和内存信息,以便所述计算装置被连接的主机识别为硬盘及内存设备。

14.一种基于内存扩展的计算系统,其特征在于,所述系统包括主机、以及所述权利要求1至13任一项所述的计算装置,所述主机与所述计算装置相连。

15.一种计算方法,其特征在于,应用于如权利要求1至13任一项所述计算装置,包括:

...

【技术特征摘要】

1.一种基于内存扩展的计算装置,其特征在于,包括闪存、闪存控制器、数据流处理模块、子协议复用及仲裁模块、协议控制器、内存、内存控制器;其中,所述闪存用于存储文件数据,以便直接在所述基于内存扩展的计算装置内完成文件加载至内存的操作;所述闪存控制器与所述数据流处理模块通过数据路径相连,以便所述数据流处理模块通过所述闪存控制器访问所述文件数据;

2.根据权利要求1所述的基于内存扩展的计算装置,其特征在于,所述协议控制器,用于获取主机处理器下发的文件读写任务,并将所述文件读写任务转发至子协议复用及仲裁模块;

3.根据权利要求1所述的基于内存扩展的计算装置,其特征在于,所述闪存控制器与所述子协议复用及仲裁模块通过数据路径相连;所述数据路径用于双向传输文件数据;

4.根据权利要求1所述的基于内存扩展的计算装置,其特征在于,所述子协议复用及仲裁模块包括子协议仲裁子模块和子协议复用子模块;

5.根据权利要求4所述的基于内存扩展的计算装置,其特征在于,所述子协议复用及仲裁模块包括中断信号输入接口,用于接收中断信号;

6.根据权利要求4所述的基于内存扩展的计算装置,其特征在于,所述子协议复用及仲裁模块包括针对内存访问事务构建的第一内存访问通道、第二内存访问通道、第三内存访问通道;

7.根据权利要求1所述的基于内存扩展的计算装置,其特征在于,所述数据流处理模块包括数据流处理引擎和指令集处理器;所述数据流处理引...

【专利技术属性】
技术研发人员:岳龙王彦伟徐冉
申请(专利权)人:浪潮北京电子信息产业有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1