System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术属于计算机系统,特别涉及一种持久内存系统及设备。
技术介绍
1、在当今数据驱动的世界中,无论是云计算、大数据分析、人工智能还是高性能计算等领域,对数据处理速度、容量以及持久性的需求日益增长。传统的存储架构,如基于dram的主存与硬盘、ssd等非易失性存储设备之间存在明显的性能鸿沟和访问模式差异。为应对这一挑战,需要一种新的软硬件协同的持久内存可用性子系统。
2、持久内存(persistent memory)是一种新型存储技术,它结合了传统dram的高速访问特性和非易失性存储(如闪存)的数据持久性优点。硬件层面,持久内存通常以dimm形式直接插在服务器的内存插槽上,通过新型内存介质(如3d xpoint、reram等)实现接近dram的访问速度,同时在断电后仍能保持数据不丢失。软件层面,操作系统、文件系统、数据库管理系统等需要进行深度优化,以充分利用持久内存的特性,实现高效的数据管理和访问。目前,软硬件协同的持久内存可用性子系统的设计方面正处于起步阶段。
3、本公开涉及以下技术术语。
4、dram:dynamic random access memory,动态随机存储器,即现阶段广泛使用的内存,其特点是断电后信息丢失,理论上读写寿命不受限制。
5、pmem:persistent memory,非易失型内存或持久性内存,sttram、pcm、rram都属于pm,其特点是断电后信息不丢失,可字节寻址;但读写次数受限制,并且读写不对称,根据材料的不同,传统的pm写耗费时间大概是其
6、cxl协议:compute express link,是一种全新的开放式互联技术标准,其能够让cpu与gpu、fpga或其他加速器之间实现高速高效的互联,从而满足高性能异构计算的要求。cxl作为一种先进的互连技术,通过提供高速、低延迟且具备缓存一致性的接口,促进了cpu与各类加速器、存储设备之间的高效协作,对提升数据中心性能、优化ai/ml工作流、实现大规模内存扩展以及构建更灵活的计算架构具有重要意义。
7、pcie:peripheral component interconnect express,是一种高速串行计算机扩展总线标准。属于高速串行点对点双通道高带宽传输,所连接的设备分配独享通道带宽,不共享总线带宽。
8、wal:write-ahead logging,即预写日志,是数据库系统中用于保证事务的原子性和持久性的一种技术。在wal机制中,所有的数据修改在提交之前都必须先写入到日志文件中。这样做的目的是确保在发生系统崩溃或其他故障时,能够利用日志文件来恢复数据,从而保证数据的一致性和完整性。
技术实现思路
1、本公开实施例之一,一种软硬件协同的持久内存可用性系统。该系统包括,数据崩溃一致性保障机制模块、数据可靠性机制模块和负载均衡和寿命延长机制模块。
2、所述数据崩溃一致性保障机制模块,用以实现持久内存检查点原位创建和重建功能、增加式检查点管理功能、低开销检测构建功能、跨节点一致的基于应用特征的数据映射、快速重建和有序重建功能,
3、所述数据可靠性机制模块,用以实现元数据和数据的差别访问控制机制、持久内存系统的持久化管理方法、低开销的数据可靠性机制,以及pmem数据的原子性、完整性和一致性,
4、所述负载均衡和寿命延长机制模块,用以实现跨cxl的持久内存动态分配与调度、异构内存系统的数据冷热分布、持久内存应用访存频率、多粒度的内存块融合与分割、懒惰回收机制和多重pmem写吸收方法。
本文档来自技高网...【技术保护点】
1.一种持久内存系统,其特征在于,该系统包括,数据崩溃一致性保障机制模块、数据可靠性机制模块和负载均衡和寿命延长机制模块,
2.根据权利要求1所述的持久内存系统,其特征在于,所述数据崩溃一致性保障机制模块,基于低开销增量式检查点,利用PMEM的持久特性,增量检查点增量备份,以低代价保证可用性。
3.根据权利要求2所述的持久内存系统,其特征在于,生成检查点时,只记录自上次检查点以来发生变化的数据。
4.根据权利要求1所述的持久内存系统,其特征在于,所述数据可靠性机制模块,以WAL日志与内存纠删码协同的可靠性保障机制,均衡副本高可用性与纠删码低开销性。
5.根据权利要求4所述的持久内存系统,其特征在于,所述WAL日志通过记录每个事务的开始和结束标志以及所有中间操作,能够支持多种隔离级别,防止事务间的交叉干扰,以确保数据一致性。
6.根据权利要求1所述的持久内存系统,其特征在于,所述负载均衡和寿命延长机制模块,跨CXL的持久内存动态分配与调度时,构建全局资源视图,制定适应不同场景的分配策略,支持数据迁移与缓存,确保故障检测与恢
7.根据权利要求6所述的持久内存系统,其特征在于,构建全局资源视图,构建跨节点的全局持久内存资源池,包括各节点上CXL连接的持久内存模块的总容量、当前使用情况、性能特性。
8.根据权利要求6所述的持久内存系统,其特征在于,所述负载均衡和寿命延长机制模块,其懒惰回收机制,通过延迟标记、增量回收、版本管理、自适应调整手段,降低回收操作对系统性能的影响。
9.一种持久内存设备,其特征在于,该设备包括,数据崩溃一致性保障机制模块、数据可靠性机制模块和负载均衡和寿命延长机制模块,
...【技术特征摘要】
1.一种持久内存系统,其特征在于,该系统包括,数据崩溃一致性保障机制模块、数据可靠性机制模块和负载均衡和寿命延长机制模块,
2.根据权利要求1所述的持久内存系统,其特征在于,所述数据崩溃一致性保障机制模块,基于低开销增量式检查点,利用pmem的持久特性,增量检查点增量备份,以低代价保证可用性。
3.根据权利要求2所述的持久内存系统,其特征在于,生成检查点时,只记录自上次检查点以来发生变化的数据。
4.根据权利要求1所述的持久内存系统,其特征在于,所述数据可靠性机制模块,以wal日志与内存纠删码协同的可靠性保障机制,均衡副本高可用性与纠删码低开销性。
5.根据权利要求4所述的持久内存系统,其特征在于,所述wal日志通过记录每个事务的开始和结束标志以及所有中间操作,能够支持多种隔离级别,防止事务间的交叉干扰,以确保...
【专利技术属性】
技术研发人员:薛栋梁,李书睿,黄林鹏,吴晨涛,
申请(专利权)人:上海交通大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。