高带宽存储器和系统技术方案

一种高带宽存储器(HBM)包括存储器和控制器。所述控制器从所述HBM外部的处理器接收数据写入请求，并且所述控制器将对数据写入请求的数据的至少一个地址加以指示的条目存储在所述存储器中，并且基于包括稀疏数据或数据值相似度的数据写入请求来生成数据总线在数据写入请求的周期时间期间能够用于操作的指示。稀疏数据包括预定百分比的等于零的数据值，并且数据值相似度包括数据值的预定量的空间值局部度。稀疏数据的等于零的数据值的所述预定百分比和数据值相似度的数据值的空间值局部度的所述预定量均基于预定数据粒度。

【技术实现步骤摘要】
高带宽存储器和系统
本文中所公开的主题涉及高带宽存储器(HBM)。更具体地，本文中所公开的主题涉及一种用于基于数据特征来减少内部和外部HBM访问从而改善HBM总体性能的系统和方法。
技术介绍
诸如深度神经网络的机器学习应用使用计算和存储器来训练不同的数据集以提供准确的推论。随着高性能计算(HPC)和图形算法变成进一步的数据和计算密集型，高带宽存储器需求将会变得更加重要，尤其是对于存储器引脚受限的如图形处理单元(GPU)的加速器而言。
技术实现思路
示例实施例提供了一种可以包括存储器和控制器的HBM。所述控制器可以从HBM外部的处理器接收数据写入请求，并且所述控制器可以被配置为：将对数据写入请求的数据的至少一个地址加以指示的条目存储在所述存储器中，其中对所述条目的存储基于数据写入请求可以包括稀疏数据或数据值相似度，其中稀疏数据包括数据写入请求的数据中的预定百分比的等于零的数据值，并且数据值相似度可以包括数据写入请求的数据中的数据值的预定量的空间值局部度；并且基于包括稀疏数据或数据值相似度的数据写入请求来生成数据总线在数据写入请求的周期时间期间可用于操作的指示。在一个实施例中，等于零的数据值的所述预定百分比可以基于预定数据粒度。在另一实施例中，空间值局部度的所述预定量可以基于预定数据粒度。另一示例实施例提供了一种可以包括处理器、HBM和控制器的系统。所述控制器可以包括存储器，并且可以被配置为：从所述处理器接收数据写入请求；基于可以包括稀疏数据的数据写入请求将对数据写入请求的数据的至少一个地址加以指示的条目存储在所述控制器的所述存储器中，其中稀疏数据可以包括数据写入请求的数据中的预定百分比的等于零的数据值；并且基于包括稀疏数据的数据写入请求来生成数据总线在数据写入请求的周期时间期间可用于操作的指示。在一个实施例中，稀疏数据的等于零的数据值的所述预定百分比可以基于预定数据粒度。在另一实施例中，所述控制器还可以被配置为：基于还包括数据值相似度的数据写入请求的数据将对数据写入请求的数据的至少一个地址加以指示的条目存储在所述控制器的所述存储器中，并且基于还包括数据值相似度的数据写入请求来生成数据总线在数据写入请求的周期时间期间可用于操作的所述指示，并且其中数据值相似度可以包括预定量的空间值局部度，并且数据值相似度的空间值局部度的所述预定量可以基于预定数据粒度。示例实施例提供了一种方法，所述方法可以包括：在HBM的控制器处，从HBM外部的处理器接收数据写入请求；由所述控制器基于包括稀疏数据或数据值相似度在内的数据写入请求的数据将对数据写入请求的数据的至少一个地址加以指示的条目存储在所述控制器的存储器中；以及由所述控制器基于包括数据值相似度的数据写入请求的数据来生成数据总线在数据写入请求的周期时间期间可用于操作的指示，其中稀疏数据可以包括数据写入请求的数据中的预定百分比的等于零的数据值，并且数据值相似度可以包括数据写入请求的数据中的数据值的预定量的空间值局部度。在一个实施例中，数据写入请求的数据可以包括所述预定量的空间值局部度，所述指示可以基于包括所述预定量的空间值局部度的数据写入请求的数据，并且所述方法还可以包括：由所述控制器基于还包括所述预定量的空间值局部度的数据写入请求来生成数据总线在数据写入请求的周期时间期间可用于操作的所述指示。在另一实施例中，数据写入请求的数据可以包括所述预定百分比的等于零的数据值，所述指示可以基于包括所述预定百分比的等于零的数据值在内的数据写入请求的数据，并且其中所述方法还可以包括：由所述控制器基于还包括所述预定百分比的等于零的数据值在内的数据写入请求来生成数据总线在数据写入请求的周期时间期间可用于操作的所述指示，其中等于零的数据值的所述预定百分比可以基于预定数据粒度。附图说明根据以下结合附图的简要描述将更清楚地理解实施例。附图表示本文中所描述的非限制性示例。在以下部分中，将参考附图中所示的示例性实施例来描述本文中所公开的主题的各方面，在附图中，相同的附图标记指代相同或相似的元件，并且在附图中：图1A描绘了根据本文中所公开的主题的典型HBM系统的示例实施例的平面图；图1B描绘了根据本文中所公开的主题的典型HBM系统的示例实施例的侧视图；图2A和图2B分别描绘了根据本文中所公开的主题的两个常用示例性神经网络在不同层的激活密度的示例图形；图3描绘了根据本文中所公开的主题的例如HBM存储器的输出驱动器与例如GPU的输入缓冲器之间的示例性32位数据总线；图4A描绘了根据本文中所公开的主题的HBM系统的示例实施例的框图；图4B描绘了根据本文中所公开的主题的HBM系统的另一示例实施例的框图；图5是描绘了根据本文中所公开的主题的在与数据写入请求相关联的数据是稀疏数据的情况下的数据写入请求操作的相对时序图；以及图6是描绘了根据本文中所公开的主题的在与连续数据写入请求相关联的数据具有数据值相似度的情况下的数据写入请求操作的相对时序图；以及图7是根据本文中所公开的主题的在与数据写入请求相关联的数据是稀疏数据或具有数据值相似度的情况下响应于数据写入请求操作来提高HBM总体性能的方法的示例实施例的流程图。具体实施方式在以下的详细描述中，阐述了许多具体细节以便提供对本公开的透彻理解。然而，本领域技术人员将理解的是，可以在没有这些具体细节的情况下实践所公开的各方面。在其他情况下，未详细描述公知的方法、流程、组件和电路，以不模糊本文中所公开的主题。在整个说明书中，对“一个实施例”或“实施例”的提及意味着结合该实施例描述的特定特征、结构或特性可以被包括在本文中所公开的至少一个实施例中。因此，贯穿本说明书在各个位置中出现的短语“在一个实施例中”或“在实施例中”或“根据一个实施例”(或者，具有类似含义的其他短语)可能不一定全部指代相同的实施例。此外，可以在一个或多个实施例中以任何合适的方式来组合特定特征、结构或特性。就这方面而言，如本文中所使用的，词语“示例性的”意指“用作示例、实例或说明”。本文中被描述为“示例性的”任何实施例不应被解释为相比其他实施例必定优选或有利。此外，可以在一个或多个实施例中以任何合适的方式来组合特定特征、结构或特性。而且，取决于本文中所讨论的上下文，单数术语可以包括对应的复数形式，并且复数术语可以包括对应的单数形式。类似地，连字符术语(例如，“二-维”、“预-定”、“特定于-像素”等)可以偶尔与对应的非连字符版本(例如，“二维”、“预定”、“特定于像素”等)互换使用，并且大写条目(例如，“CounterClock”、“RowSelect”、“PIXOUT”等)可以与对应的非大写版本(例如，“counterclock”、“rowselect”、“pixout”等)互换使用。这种偶然的互换使用不应被认为是相互矛盾的。此外，取决于本文中所讨论的上下文，单数术语可以包括对应的复数形式，并且复数术语可以包括对应的单数形式。还应注意的是，本文中所示出和讨论的各种附图(包括组件图)仅仅是为了本文档来自技高网...

【技术保护点】
1.一种高带宽存储器HBM，包括：/n存储器；以及/n控制器，从所述HBM外部的处理器接收数据写入请求，所述控制器被配置为：/n将对所述数据写入请求的数据的至少一个地址加以指示的条目存储在所述存储器中，其中对所述条目的存储基于所述数据写入请求的数据，所述数据包括稀疏数据或数据值相似度，其中所述稀疏数据包括所述数据写入请求的数据中的预定百分比的等于零的数据值，并且所述数据值相似度包括所述数据写入请求的数据中的数据值的预定量的空间值局部度；以及/n基于包括所述稀疏数据或所述数据值相似度的所述数据写入请求，生成数据总线在所述数据写入请求的周期时间期间能够用于操作的指示。/n

【技术特征摘要】
20190501 US 62/841,815;20190912 US 16/569,6571.一种高带宽存储器HBM，包括：
存储器；以及
控制器，从所述HBM外部的处理器接收数据写入请求，所述控制器被配置为：
将对所述数据写入请求的数据的至少一个地址加以指示的条目存储在所述存储器中，其中对所述条目的存储基于所述数据写入请求的数据，所述数据包括稀疏数据或数据值相似度，其中所述稀疏数据包括所述数据写入请求的数据中的预定百分比的等于零的数据值，并且所述数据值相似度包括所述数据写入请求的数据中的数据值的预定量的空间值局部度；以及
基于包括所述稀疏数据或所述数据值相似度的所述数据写入请求，生成数据总线在所述数据写入请求的周期时间期间能够用于操作的指示。


2.根据权利要求1所述的HBM，其中等于零的数据值的所述预定百分比基于预定数据粒度。


3.根据权利要求1所述的HBM，其中空间值局部度的所述预定量基于预定数据粒度。


4.根据权利要求1所述的HBM，其中所述控制器还被配置为从所述HBM外部的所述处理器接收针对所述HBM的读取访问的数据读取请求，以及
其中所述控制器还被配置为确定与所述数据读取请求相对应的地址是否被存储为所述存储器中的条目。


5.根据权利要求4所述的HBM，其中所述控制器还被配置为除并行存储器查找和HBM查找之外还执行边带访问。


6.根据权利要求1所述的HBM，其中所述条目包括与所述数据写入请求的数据的所述数据值相似度有关的信息，以及
其中所述控制器还被配置为压缩所述条目以减小数据宽度。


7.根据权利要求1所述的HBM，其中所述条目包括元数据，以及
其中所述控制器还被配置为将所述元数据压缩为所述存储器中的一系列块。


8.一种高带宽存储器HBM系统，包括：
处理器；
高带宽存储器HBM；以及
包括存储器的控制器，所述控制器被配置为：
从所述处理器接收数据写入请求，
基于所述数据写入请求的数据将对所述数据写入请求的数据的至少一个地址加以指示的条目存储在所述控制器的所述存储器中，其中所述数据包括稀疏数据，所述稀疏数据包括所述数据写入请求的数据中的预定百分比的等于零的数据值，以及
基于包括所述稀疏数据的所述数据写入请求，生成数据总线在所述数据写入请求的周期时间期间能够用于操作的指示。


9.根据权利要求8所述的HBM系统，其中所述稀疏数据的等于零的数据值的所述预定百分比基于预定数据粒度。


10.根据权利要求8所述的HBM系统，其中所述控制器还被配置为：基于还包括数据值相似度的所述数据写入请求的数据，将对所述数据写入请求的数据的至少一个地址加以指示的条目存储在所述控制器的所述存储器中，以及
基于还包括所述数据值相似度的所述数据写入请求，生成数据总线在所述数据写入请求的周期时间期间能够用于操作的所述指示，并且
其中所述数据值相似度包括所述数据写入请求的数据中的数据值的预定量的空间值局部度，以及
其中所述数据值相似度的空间值局部度...

【专利技术属性】
技术研发人员：克里希纳·泰贾·马拉迪，牛迪民，郑宏忠，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR