一种异构内存环境下的缓存替换方法技术

本发明专利技术公开了一种异构内存环境下的缓存替换方法，其特征在于，包括：在缓存行硬件结构中增加一位来源标志位，用于标记该缓存行数据是来源于DRAM还是PCM；在CPU中新增采样存储单元，用于记录程序访存行为，记录数据重用距离信息；还包括采样方法、等效位置计算方法和替换方法三个子方法，采样子方法用于对访问缓存的行为进行采样统计，等效位置计算子方法用于计算等效位置，替换子方法用于确定需要被替换出去的缓存行。本发明专利技术针对异构内存环境下程序的访存特性，对传统缓存替换策略进行了优化，实施本发明专利技术能减少因为缓存不命中而需要访问PCM内存的高昂时延代价，从而提升系统整体的访存性能。

【技术实现步骤摘要】

本专利技术属于计算机科学
，更具体地，涉及一种异构内存环境下的缓存替 换方法。
技术介绍
以动态随机存储器（DRAM)为代表的传统内存技术的发展近年来遇到了瓶颈。受 限于制造工艺，在较低的成本上获得更大容量的DRAM内存变得越发困难；且随着容量的不 断增大，DRAM内存的高能耗问题也日益凸显。新型非易失性存储（Non-Volatile Memory， 简称NVM)技术的兴起与发展为打破传统DRAM内存这一系统性能与能耗瓶颈提供了契机。 以相变存储器（Phase Change Memory，简称PCM)为代表的非易失性存储器件有着良好的可 扩展性、比闪存（Flash Memory)更加接近DRAM的时延与带宽特性、非易失性、以及极低的 静态功耗等一系列优良的特性。另一方面，它们同样也有着使用寿命短、写时延与功耗过高 等一些尚未克服的缺陷。因此，尚不具备利用非易失性存储完全替代DRAM作为内存的技术 条件。目前比较通行的做法是利用新型非易失性存储器件与传统DRAM构建异构内存，以期 达到充分发挥两者自身优势同时避免各自缺陷这一目的。 设计精良、管理得当的高速缓存可以极大地弥补慢速内存与高速CPU之间的速度 差异，使整个计算机系统获得近乎于高速缓存的访存性能。缓存替换算法的好坏直接影响 着缓存的使用效率，进而可以影响系统的整体性能。以LRU及其衍生算法为代表的传统缓 存替换算法在传统DRAM内存环境下取得了不错的性能效果，但是在异构内存环境下，缓存 不命中代价（Miss Penalty)不一致，亦即DRAM以及PCM的访问时延不一致这一新的特性 并没有在传统缓存替换算法中被充分考虑，这就提出了异构内存环境下的缓存使用效率提 升问题。本专利技术旨在充分挖掘异构内存环境下的程序访存特性，将缓存不命中代价这一重 要因素纳入缓存替换算法的考虑范畴，做出更加切合异构内存实际的缓存替换决策，从而 提升系统的访存性能。
技术实现思路
本专利技术要解决的技术问题是：提供，使得装 配了新型异构内存的计算机系统更加有效地管理使用高速缓存，更具体地，在缓存替换时 能充分利用缓存不命中时访问不同内存介质的时延代价不一致这一特性，做出更加合理的 替换决策，从而提升系统的整体性能。 本专利技术提供了，包括：在缓存行硬件结构中 增加一位来源标志位，用于标记该缓存行数据是来源于DRAM还是PCM ;在CPU中新增采样 存储单元，统计数据重用距离信息；还包括采样方法、等效位置计算方法和替换方法三个子 方法，采样子方法用于对访问缓存的行为进行采样统计，等效位置计算子方法用于计算等 效位置，替换子方法用于确定需要被替换出去的缓存行。 来源标志位计为I，其置位方法是：当缓存不命中需要从内存读取数据时，根据缓 存收到数据块与缓存发出读请求的时间差值tt的大小来判定收到的数据块是来自哪一种 内存介质，若tt小于50纳秒，则判定收到的数据块来自DRAM，将数据块插入的缓存行的来 源标志位置0 ;若tt不小于50纳秒，则判定收到的数据块来自PCM，将数据块插入的缓存行 的来源标志位置1。 采样存储单元分DRAM、PCM两个区，其中DRAM区存储标志位为0的缓存行的标记 位组，PCM区存储标志位为1的缓存行的标记位组；其中标记位组指的是64位地址中代表 缓存行标记Tag的二进制位组；存储过程采用LRU替换算法，两个区都是组相连的，相联度 都与LLC自身的相联度相同。所述采样存储单元还包含一张 DRAM重用距离统计表和一张 PCM重用距离统计表，DRAM重用距离统计表跟DRAM区对应，PCM重用距离统计表跟PCM区 对应，大小均为LLC相联度加1行，均包含位置字段以及与其相对应的次数字段，分别用于 记录DRAM、PCM两个CPU内部采样存储单元中的位置和命中对应位置上标记位组的次数。 采样子方法周期性执行，每次采样时，若持续时间太短则不足以获取充分的样本 信息，若持续时间太长则会耗费过多的处理器资源，因而需要折中地确定采样的周期与每 次采样的持续时间，本方法规定每0. 5至5秒采样一次，每次采样持续时间为T，T等于5-15 毫秒，持续时间约占采样周期的1%，详细步骤如下： (I. 1)将统计表DT和统计表PT的命中次数字段清零； (1. 2)每次采样，读入每次LLC访存信息，计算访问地址中的缓存组号N，对缓存组 号N以采样组间隔数L为模，进行取模运算，判别运算结果是否为0,是则表明该访存行为需 要采样，转（1.3);否则转子步骤（1.4);其中采样组间隔数L指的是需要采样的相邻缓存 组之间的组号差，取值为128,对组号为0、128、256…的缓存组进行采样； (1. 3)判别该次访问LLC是否命中，是则转（1. 5);否则转（1. 7); (1. 4)判别采样时间是否大于T，是则转等效位置计算子方法；否则转（1. 2)等待 下一次LLC访存； (1. 5)将N/L的商作为需要访问的DRAM采样区或PCM采样区的组号，进行子步骤 (1.6)； (1. 6)判别标志位I是否为0,是则按LRU算法将该命中的缓存行标记位组插入 DRAM采样区，更新统计表DT ;否则按LRU算法将命中的缓存行标记位组插入PCM采样区，更 新统计表PT ;更新时，若命中某标记位组，则将对应的次数字段加1，若不命中，则将相联度 +1下标对应的次数字段加1 ; 更新完成后，判别采样时间是否大于T，是则当次采样结束，转等效位置计算子方 法；否则转步骤（1. 2); (1. 7)判定收到的数据块是否来自DRAM，是则将标志位I赋值为0,否则将标志位 I赋值为1，转步骤（1.6); 等效位置计算子方法在每次采样结束时执行，详细步骤如下： (2· 1)分别计算 Pd(X)、Pp(X)、λ ,和 λ p; 其中，Pd⑴、PJX)分别为DRAM重用距离概率分布和PCM重用距离概率分布，分别 通过统计表DT和统计表PT每一个位置对应的命中次数字段除以命中次数字段总和求得； 重用距离统计表的位置字段即代表重用距离； λ#Ρ λ p分别为访问DRAM缓存行次数占采样总次数的百分比和访问PCM缓存行 次数占采样总次数的百分比； (2. 2)记LLC的相联度为assoc，缓存组中缓存行的位置下标为n，n = 1代表MRU 位置，n = assoc代表LRU位置，当η分别取{1，2, 3，...，aSS〇c-l}中的值时，根据Pd⑴、 Pp(X)、λ d、λ当前第1页1 2 本文档来自技高网...

【技术保护点】
一种异构内存环境下的缓存替换方法，其特征在于，包括如下步骤：(1)设置步骤，包括下述子步骤：(1.1)在缓存行硬件结构中增加一位来源标志位I，用于标记该缓存行数据是来源于DRAM还是PCM：该位为1表示数据来自PCM，为0表示数据来自DRAM；(1.2)在CPU内部新增采样存储单元，其包含DRAM采样区、PCM采样区，其中PCM采样区存储标志位为1的缓存行的标记位组，DRAM采样区存储标志位为0的缓存行的标记位组；其中标记位组指的是64位地址中代表缓存行标记Tag的二进制位组；(1.3)在CPU内部新增采样存储单元，分别建立一张DRAM重用距离统计表DT和一张PCM重用距离统计表PT，大小均为LLC相联度加上1，均包含位置字段及相应的命中次数字段，分别用于记录标记位组在DRAM采样区、PCM采样区的位置和命中对应位置上标记位组的次数；(2)采样并填写重用距离统计表，包括如下子步骤：(2.1)将统计表DT和统计表PT的命中次数字段清零；每0.5至5秒采样一次，每次采样持续时间为T,T等于5‑15毫秒；(2.2)每次采样，读入每次LLC访存信息，计算访问地址中的缓存组号N，对缓存组号N以采样组间隔数L为模，进行取模运算，判别运算结果是否为0，是则表明该访存行为需要采样，转(2.3)；否则转子步骤(2.4)；其中采样组间隔数L指的是需要采样的相邻缓存组之间的组号差，取值为128，对组号为0、128、256…的缓存组进行采样；(2.3)判别该次访问LLC是否命中，是则转(2.5)；否则转(2.7)；(2.4)判别采样时间是否大于T，是则转步骤(3)；否则转(2.2)等待下一次LLC访存；(2.5)将N/L的商作为需要访问的DRAM采样区或PCM采样区的组号，进行子步骤(2.6)；(2.6)判别标志位I是否为0，是则按LRU算法将该命中的缓存行标记位组插入DRAM采样区，更新统计表DT；否则按LRU算法将命中的缓存行标记位组插入PCM采样区，更新统计表PT；更新时，若命中某标记位组，则将对应的次数字段加1，若不命中，则将相联度+1下标对应的次数字段加1；更新完成后，判别采样时间是否大于T，是则当次采样结束，转步骤(3)；否则转步骤(2.2)；(2.7)判定收到的数据块是否来自DRAM，是则将标志位I赋值为0，否则将标志位I赋值为1，转步骤(2.6)；(3)计算等效位置，其子步骤如下：(3.1)分别计算Pd(X)、Pp(X)、λd和λp；其中，Pd(X)、Pp(X)分别为DRAM重用距离概率分布和PCM重用距离概率分布，分别通过统计表DT和统计表PT每一个位置对应的命中次数字段除以命中次数字段总和求得；重用距离统计表的位置字段即代表重用距离；λd和λp分别为访问DRAM缓存行次数占采样总次数的百分比和访问PCM缓存行次数占采样总次数的百分比；(3.2)记LLC的相联度为assoc，缓存组中缓存行的位置下标为n，n＝1代表MRU位置，n＝assoc代表LRU位置，当n分别取{1,2,3，…,assoc‑1}中的值时，根据Pd(X)、Pp(X)、λd、λp以及选定的n计算平均访存时间AMAT：AMAT＝λd×(Th+Td×(1‑Hd))+λp×(Th+Tp×(1‑Hp))，式中，Th、Td、Tp分别为缓存的命中时延，DRAM的访问时延和PCM的访问时延，三个参数可查询硬件的技术手册获得；Hd和Hp分别为DRAM缓存行和PCM缓存行的命中率：Hd=Σi=1assoc(Σj=iassocαj,i×Pa(X=i)),]]>Hp=Σi=1assoc(Σj=iassocβj,i×Pp(X=i)),]]>式中，αj,i为缓存组第j个位置上恰好为该组中第i个DRAM缓存行的概率，βj,i为缓存组第j个位置上恰好为该组中第i个PCM缓存行的概率；若i＝j＝1，则αj,i＝λd，βj,i＝λp；若j<i或i<1,则αj,i＝0，βj,i＝0；若j≤n+1,则αj,i=αj-1,i×λp×Σk-j-iassoc+1Pp(X=k)+αj-1,i-1×λd×Σk=iassoc+1Pd(X=k)1-λd×Σk=1i-1Pd(X=k)-λp×Σk=1j-iPp(X=k),]]>βj,i=βj-1,i×λd×Σk-j-iassoc+1Pd(X=k)+βj-1,i-1×&...

【技术特征摘要】

【专利技术属性】
技术研发人员：廖小飞，刘东，金海，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北;42