System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及图挖掘领域,具体来说涉及图挖掘应用的加速领域,更具体地说,涉及一种用于加速图挖掘的装置以及加速图挖掘的方法。
技术介绍
1、图挖掘是图查询领域的一个重要领域。图挖掘的目标是在给定的图中找到与特定形状匹配的所有子图。图挖掘在生物信息学、化学信息学、社交网络分析和网络垃圾检测等领域有着广泛的应用。由于算法复杂性增加、内存访问行为不规则、数据依赖性错综复杂以及负载增加,这些因素都会对使计算机面临存储墙问题。因此,使用传统的以处理器为中心的系统来加速图挖掘具有挑战性。
2、存内计算架构是新兴的一种以内存为中心的计算架构,该架构一般使用三维堆叠的技术方案将内存芯片和计算部件结合在一起,使得它可以将计算卸载到内存中进行运算,从而有效的缓解了存储墙问题。因此,图挖掘很适合在存内计算架构下运行。
3、目前主流的图挖掘方案都是基于集合的操作,如通过相交、相减进行子图的检索,而现有的图挖掘应用在存内计算架构下的加速集合操作的方法一般分为以下两种:
4、1)在基于动态随机存取存储器(dynami c random-access memory,dram)中嵌入了低成本计算单元,以有效执行图挖掘中的高成本集合操作。为了支持存内计算操作,一般都配备了一个硬件-软件接口,该类加速方案主要针对的是集合操作的加速,主要包括对集合存储方式的创新,如提出了稀疏矩阵存储(compressed sparse row format,csr)/位图(b itmap)混合存储的方式,以及对集合操作的执行顺序进行优化,如预处理阶
5、2)基于修改过的dram中嵌入低成本计算单元,以有效执行图挖掘中的高成本集合操作。该类型的加速方案,将动态随机存取存储器侧的计算资源分为两部分:dram阵列中的按位运算和dram阵列下方堆叠的通用计算单元。通过探索图挖掘中的集合运算与不同类型的计算资源的适配度,进行集合运算在存内计算架构中的合理分配。
6、但是上述两种方法存在以下问题;
7、1)对于第一种方法中对集合操作加速的处理,采用csr/b i tmap的混合存储方式,虽然在理论上能够一定程度提高集合操作的并行性,但是b i tmap方式在存储容量的开销上远远大于csr存储方式,这种混合存储的方式会增加内存开销,以至于降低了在超大规模数据集下的图挖掘加速效果。另外当数据集增大时,对于集合的排序也会大大的增加预处理的成本,且无法有效的应对在大数据集情况下的加速需求。
8、2)对于第二种方法中对集合操作加速的处理,虽然通过对不同类型的集合操作进行分析,可以得出何种类型的存内计算资源对集合操作加速效果最明显。但是该方法必须修改动态随机存取存储器的内部电路,这使得该方法的成本极高,并不适配现有的商业动态随机存取存储器架构。另外该方法与第一种方法一样,均无法有效的应对在大数据集情况下的加速需求。
9、总的来说,现有图挖掘应用在存内计算架构下的加速集合操作的方法,虽然在一定程度可以提高计算操作的并行性,但是在提高计算操作的并行性的同时其成本也会相应增大,同时无法有效应对在大容量数据下的加速需求。
10、需要说明的是:本
技术介绍
仅用于介绍本专利技术的相关信息,以便于帮助理解本专利技术的技术方案,但并不意味着相关信息必然是现有技术。在没有证据表明相关信息已在本专利技术的申请日以前公开的情况下,相关信息不应被视为现有技术。
技术实现思路
1、因此,本专利技术的目的在于克服上述现有技术的缺陷,提供一种用于加速图挖掘的装置以及加速图挖掘的方法。
2、本专利技术的目的是通过以下技术方案实现的:
3、根据本专利技术的第一方面,提供了一种用于加速图挖掘的装置,所述装置包括:存内计算模块,用于根据访问的图数据进行图挖掘;第一存储介质,作为缓存,用于存储被设为复用的图数据;第二存储介质,作为加速器,其被存内计算模块访问的速度较第一存储介质更快,其数据位被配置为存储复用的图数据的头信息;控制模块,用于在存内计算模块需要访问图数据时,先查询需要访问的图数据的头信息是否存储在第二存储介质中,若是,根据查询得到的头信息从第一存储介质中读取对应的图数据供存内计算模块使用。
4、在本专利技术的一些实施例中,所述第二存储介质的容量小于所述第一存储介质,所述第二存储介质的单位成本高于所述第一存储介质。
5、在本专利技术的一些实施例中,所述第一存储介质设有缓存单元,所述缓存单元被作为所述缓存,且被配置为:利用最近最少使用的规则确定图数据的复用频率,按照所述复用频率将复用频率排序靠前且能够容纳于所述缓存单元的图数据设为复用的图数据,所有所述复用的图数据的数据量小于等于所述缓存单元的容量。
6、在本专利技术的一些实施例中,所述第二存储介质的数据位被配置为:存储所述第一存储介质中的部分复用的图数据的头信息。
7、在本专利技术的一些实施例中,所述第二存储介质被配置为:利用最近最少使用的规则确定所述第一存储介质中复用的图数据的复用频率,根据所述复用频率存储复用频率排序靠前且能够容纳于所述第二存储介质的图数据的头信息。
8、在本专利技术的一些实施例中,所述第一存储介质还设有存储单元,其用于存储所有图数据。
9、在本专利技术的一些实施例中,所述控制模块被配置为:根据命中策略确定需要访问的图数据对应的头信息是否存储在所述第二存储介质中,所述命中策略为:当头信息存储在所述第二存储介质时为命中,并根据所述头信息直接从所述第一存储介质的缓存单元中读取对应的图数据;当头信息未存储在所述第二存储介质时为未命中,在所述第一存储介质的缓存单元中进查询:当头信息存储在所述第一存储介质的缓存单元中时为命中,并根据所述头信息从所述第一存储介质的缓存单元中读取对应的图数据;当头信息未存储在所述第一存储介质的缓存单元中时为未命中,从第一存储介质的存储单元中读取对应的图数据供存内计算模块使用。
10、在本专利技术的一些实施例中,所述控制模块通过图挖掘的访问指令从第一存储介质中读取对应的图数据供存内计算模块使用,所述访问指令包括:头信息、组索引和数据索引,其中,所述组索引确定图数据在所述第一存储介质中的组位置,所述头信息确定图数据在所述组位置中对应的行位置,所述数据索引确定图数据在所述行位置中对应的位置。
11、在本专利技术的一些实施例中,所述第一存储介质为dram,所述第二存储介质为sram。
12、根据本专利技术的第二方面,提供了一种加速图挖掘的方法,所述方法包括:获取图挖掘的访问指令;将所述访问指令输入如本专利技术的第一方面提供的装置以访问第一存储介质中的图数据进行图挖掘,得到图挖掘结果。
13、与现有技术相比,本专利技术的优点在于:
14、1)使用dram中部分区域作为缓存,不仅能够提供足够大的容量存储大容量的图数据,以支持图挖掘中大数据的需求,还能够降低架构中的面积开销以及制造成本。
15、2)利用本文档来自技高网...
【技术保护点】
1.一种用于加速图挖掘的装置,其特征在于,所述装置包括:
2.根据权利要求1所述的装置,其特征在于,所述第二存储介质的容量小于所述第一存储介质,所述第二存储介质的单位成本高于所述第一存储介质。
3.根据权利要求2所述的装置,其特征在于,所述第一存储介质设有缓存单元,所述缓存单元被作为所述缓存,且被配置为:利用最近最少使用的规则确定图数据的复用频率,按照所述复用频率将复用频率排序靠前且能够容纳于所述缓存单元的图数据设为复用的图数据,所有所述复用的图数据的数据量小于等于所述缓存单元的容量。
4.根据权利要求3所述的装置,其特征在于,所述第二存储介质的数据位被配置为:存储所述第一存储介质中的部分复用的图数据的头信息。
5.根据权利要求4所述的装置,其特征在于,所述第二存储介质被配置为:利用最近最少使用的规则确定所述第一存储介质中复用的图数据的复用频率,根据所述复用频率存储复用频率排序靠前且能够容纳于所述第二存储介质的图数据的头信息。
6.根据权利要求5所述的装置,其特征在于,所述第一存储介质还设有存储单元,其用于存储所有图数据
7.根据权利要求6所述的装置,其特征在于,所述控制模块被配置为:根据命中策略确定需要访问的图数据对应的头信息是否存储在所述第二存储介质中,所述命中策略为:
8.根据权利要求1-7之一所述的装置,其特征在于,所述控制模块通过图挖掘的访问指令从第一存储介质中读取对应的图数据供存内计算模块使用,所述访问指令包括:头信息、组索引和数据索引,其中,所述组索引确定图数据在所述第一存储介质中的组位置,所述头信息确定图数据在所述组位置中对应的行位置,所述数据索引确定图数据在所述行位置中对应的位置。
9.根据权利要求1-7之一所述的装置,其特征在于,所述第一存储介质为DRAM,所述第二存储介质为SRAM。
10.一种加速图挖掘的方法,其特征在于,所述方法包括:
...【技术特征摘要】
1.一种用于加速图挖掘的装置,其特征在于,所述装置包括:
2.根据权利要求1所述的装置,其特征在于,所述第二存储介质的容量小于所述第一存储介质,所述第二存储介质的单位成本高于所述第一存储介质。
3.根据权利要求2所述的装置,其特征在于,所述第一存储介质设有缓存单元,所述缓存单元被作为所述缓存,且被配置为:利用最近最少使用的规则确定图数据的复用频率,按照所述复用频率将复用频率排序靠前且能够容纳于所述缓存单元的图数据设为复用的图数据,所有所述复用的图数据的数据量小于等于所述缓存单元的容量。
4.根据权利要求3所述的装置,其特征在于,所述第二存储介质的数据位被配置为:存储所述第一存储介质中的部分复用的图数据的头信息。
5.根据权利要求4所述的装置,其特征在于,所述第二存储介质被配置为:利用最近最少使用的规则确定所述第一存储介质中复用的图数据的复用频率,根据所述复用频率存储复用频率排序靠前且能够容...
【专利技术属性】
技术研发人员:闫亮,陈晓明,韩银和,
申请(专利权)人:中国科学院计算技术研究所,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。