【技术实现步骤摘要】
本申请涉及固态存储，涉及一种分布式存储系统中通过追加写管理热数据缓存的方法、装置和介质。
技术介绍
1、目前，随着信息技术的飞速发展，存储技术也在不断进步。固态存储设备，如nvme(non-volatile memory express)和ssd(solid state drive)，作为新一代存储设备，凭借其高速读写性能和低延迟特性，逐渐进入并改变了存储市场。然而，由于高昂的成本，固态存储设备尚不能完全取代传统的机械存储设备(hdd，hard disk drive)。因此，在实际应用中，固态存储设备往往作为小容量的高速缓存设备，与传统hdd设备结合使用，形成混合存储架构。
2、在当前的存储服务器市场中，根据存储设备的类型，存储服务器大致可以分为三类：全闪服务器(全部采用ssd、nvme等高速设备)、混闪服务器(由ssd或nvme等高速设备与hdd等低速设备混合组成)和全hdd服务器(全部采用hdd设备)。其中，混闪服务器因其兼顾性能和成本的优势，在分布式存储系统中得到了广泛应用。
3、在混闪服务器的分布式存储系统中，为了实现成本效益和系统安全可靠性的平衡，通常采用“数据分层存储”策略。这一策略的核心在于，利用高速设备(如ssd、nvme)存储用户高频访问的热点数据，以降低用户的读取时延；而使用性能较低的hdd设备存储用户低频访问的数据，以充分利用hdd盘容量大、价格低的优势。
4、对于混闪服务器的闪存设备管理，目前主流厂商主要采用三种方案。第一种方案是采用双存储池方案，即利用闪存盘创建高速缓
5、需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
1、为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
2、本公开实施例提供了一种分布式存储系统中通过追加写管理热数据缓存的方法、装置和介质，通过对缓存数据实现追加写，实现对nvme盘的顺序写，从而减少nvme盘gc对存储系统性能的影响，提升混闪服务器的存储性能和稳定性，满足日益增长的存储需求。
3、在一些实施例中，所述方法包括：
4、以对象为单位，通过布隆过滤器实现热度统计，判断对象是否为热数据对象；
5、数据写入时，如果对象被判定为热数据对象，则在io写入hdd盘之后，将数据写入nvme盘缓存；读取对象时，如果缓存命中，则优先读取缓存；
6、业务对象id删除或发生热数据覆盖写时，判断热点数据对象上的所有业务对象id的数据段是否都已失效，如果都已失效，则删除热点数据对象回收热数据空间；
7、归置组出现主备切换时，识别出发生主备切换的归置组对应的热点数据对象，将其加入后台热数据删除队列，删除热点数据；当出现osd上电时，默认之前保留的热数据缓存全部无效，在上电流程中完成对热点数据的清理，热点数据全部清理完成后，该归置组的热数据缓存功能生效。
8、优选的，判断对象是否为热数据对象，具体方式如下：
9、按照设定的时间周期维护一个hit_set_map，记录当前周期访问的对象，并保留最近5个周期的统计信息，根据历史热度记录命中情况确定对象是否为热数据对象；当前读取的对象在历史5个热度记录周期内命中3次，则认为是热数据。
10、优选的，数据写入具体方式如下：
11、根据需要写入的热点数据申请一个热点数据对象，并在nvme盘上申请存储空间，将数据写入，更新对象的元数据，记录热点数据的offset、length、热点数据对象以及实际存储位置映射关系。
12、优选的，读取对象具体方式如下：
13、判断读取的数据是否全部或部分命中热数据缓存，如果全部命中，则根据正向关系向热点数据对象读取数据，将数据返回给客户端；如果部分命中缓存，则根据正向关系读取命中的部分，向hdd读取未命中的数据，数据拼接后把完成的数据返回给客户端。
14、优选的，缓存空间不足时，根据lru机制淘汰较冷的热点数据，释放缓存空间，并根据缓存空间已用容量占比梯度控制淘汰速度；
15、优选的，缓存空间不足判断标准如下：缓存空间利用率大于等于80％则缓存空间不足，缓存空间小于80％则缓存空间充足。
16、优选的，所述梯度控制淘汰速度根据缓存空间已用容量控制，当缓存空间大于等于80％，但小于90％时，删除热点对象速度为5/s；当缓存空间大于等于90％，但小于95％时，删除热点对象速度为10/s；当缓存空间大于等于95时，删除热点对象速度为20/s。
17、优选的，热数据空间回收还包括热点对象的空间整合回收机制，具体如下：
18、正向扫描热点数据对象，将有效空间低于设定阈值的热点数据对象加入垃圾回收队列，将队列中的数据重新聚合成与nvme盘上申请存储空间相等的存储空间，写入新的热数据缓存对象，更新业务对象的映射关系，删除原始的热点数据对象释放热数据空间。
19、在一些实施例中所述装置，包括处理器和存储有程序指令的存储器，所述处理器被配置为在运行所述程序指令时，执行所述的新型构网型新能源暂态无功支撑策略及整定方法。
20、一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的新型构网型新能源暂态无功支撑策略及整定方法。
21、本公开实施例提供的一种分布式存储系统中通过追加写管理热数据缓存的方法、装置和介质，可以实现以下技术效果：
22、有益效果
23、本专利技术通过对nvme盘缓存的热数据实现追加写，实现了对nvme盘的顺序写。这种方法有效减少了nvme盘因小块随机写而产生的大量gc(garbage collection)数据搬移，从而显著提升了存储系统的性能。
24、以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。
本文档来自技高网...【技术保护点】
1.一种分布式存储系统中通过追加写管理热数据缓存的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的分布式存储系统中通过追加写管理热数据缓存的方法，其特征在于，判断对象是否为热数据对象，具体方式如下：
3.根据权利要求1所述的分布式存储系统中通过追加写管理热数据缓存的方法，其特征在于，数据写入具体方式如下：
4.根据权利要求3所述的分布式存储系统中通过追加写管理热数据缓存的方法，其特征在于，读取对象具体方式如下：
5.根据权利要求1所述的分布式存储系统中通过追加写管理热数据缓存的方法，其特征在于，缓存空间不足时，根据LRU机制淘汰较冷的热点数据，释放缓存空间，并根据缓存空间已用容量占比梯度控制淘汰速度。
6.根据权利要求5所述的分布式存储系统中通过追加写管理热数据缓存的方法，其特征在于，缓存空间不足判断标准如下：缓存空间利用率大于等于80％则缓存空间不足，缓存空间小于80％则缓存空间充足。
7.根据权利要求6所述的分布式存储系统中通过追加写管理热数据缓存的方法，其特征在于，所述梯度控制淘汰速度根据缓存
8.根据权利要求3所述的分布式存储系统中通过追加写管理热数据缓存的方法，其特征在于，热数据空间回收还包括热点对象的空间整合回收机制，具体如下：
9.一种新型构网型新能源暂态无功支撑策略及整定装置，包括处理器和存储有程序指令的存储器，其特征在于，所述处理器被配置为在运行所述程序指令时，执行如权利要求1-8任一所述的新型构网型新能源暂态无功支撑策略及整定方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该程序被处理器执行时实现如上述权利要求1-8任一所述的新型构网型新能源暂态无功支撑策略及整定方法。
...【技术特征摘要】
1.一种分布式存储系统中通过追加写管理热数据缓存的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的分布式存储系统中通过追加写管理热数据缓存的方法，其特征在于，判断对象是否为热数据对象，具体方式如下：
3.根据权利要求1所述的分布式存储系统中通过追加写管理热数据缓存的方法，其特征在于，数据写入具体方式如下：
4.根据权利要求3所述的分布式存储系统中通过追加写管理热数据缓存的方法，其特征在于，读取对象具体方式如下：
5.根据权利要求1所述的分布式存储系统中通过追加写管理热数据缓存的方法，其特征在于，缓存空间不足时，根据lru机制淘汰较冷的热点数据，释放缓存空间，并根据缓存空间已用容量占比梯度控制淘汰速度。
6.根据权利要求5所述的分布式存储系统中通过追加写管理热数据缓存的方法，其特征在于，缓存空间不足判断标准如下：缓存空间利用率大于等于80％则缓存空间不足，缓存空间小于80％则缓存空间充足。
...
【专利技术属性】
技术研发人员：李吉龙，张旭升，李庆龙，刘红泽，于涛，
申请(专利权)人：西安超越申泰信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。