【技术实现步骤摘要】
所属的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。下面参照图8来描述根据本公开的这种实施方式的电子设备800。图8显示的电子设备800仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。如图8所示，电子设备800以通用计算设备的形式表现。电子设备800的组件可以包括但不限于：至少一个处理器810、至少一个存储器820、连接不同系统组件(包括存储器820和处理器810)的总线830、显示器840。其中，所述存储器存储有程序代码，所述程序代码可以被所述处理器810执行，使得所述处理器810执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如，所述处理器810可以执行如图1中所示的：步骤s110，接收每个所述数据处理节点定期上报的所述局部热点数据及所述局部热点数据的热度统计信息；步骤s120，根据所述多个数据处理节点上报的所述热度统计信息从所述局部热点数据中筛选出未存储于高性能存储介质中的第一全局热点数据；步骤s130，将所述第一全局热点数据迁移至所述高性能存储介质中。存储器820可以包括易失性存储形式的可读介质，例如随机存取存储器(ram)8201和/或高速缓存存储器8202，还可以进一步包括只读存储器(rom)8203。存储器820还可以包括具有一组(至少一个)程序模块8205的程序/实用工具8204，这样
技术介绍
1、随着互联网及计算机技术的迅速发展与进步，相关数据存储技术也在蓬勃发展。
2、在当前的分布式存储系统中，为了降低数据的存储成本同时尽量提升整个存储系统的性能，可以将系统中的数据进行分层存储，例如：将热点数据和冷数据进行分层存储。然而，现有的存储方案无法准确全面的判定热点数据，从而导致数据分层不合理。
3、鉴于此，本领域亟需开发一种新的数据处理方法及装置。
4、需要说明的是，上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解。
技术实现思路
1、本公开的目的在于提供一种数据处理方法、数据处理装置、计算机可读存储介质及电子设备，进而至少在一定程度上克服由于相关技术的限制而导致的数据分层不合理的技术问题。
2、本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
3、根据本公开的第一方面，提供一种数据处理方法，应用于分布式存储系统中的数据分层管理节点，所述分布式存储系统中还包括多个数据处理节点，每个所述数据处理节点管理一个数据集，每个所述数据处理节点用于定期从其所管理的数据集中筛选出局部热点数据，所述方法包括：
4、接收每个所述数据处理节点定期上报的所述局部热点数据及所述局部热点数据的热度统计信息；
5、根据所述多个数据处理节点上报的所述热度统计信息从所述局部热点数据中筛选出未存储于高性能存储介质中的第一全局热点数据；
6、将所述第一全局热点数据迁移至所述高性能存储介质中。
7、在本公开的示例性实施例中，所述根据所述多个数据处理节点上报的所述热度统计信息从所述局部热点数据中筛选出未存储于高性能存储介质中的第一全局热点数据，包括：
8、根据所述多个数据处理节点上报的所述热度统计信息从所述局部热点数据中筛选出全局热点数据；
9、从所述全局热点数据中剔除已存储于所述高性能存储介质中的第二全局热点数据，获得所述未存储于高性能存储介质中的第一全局热点数据。
10、在本公开的示例性实施例中，在根据所述多个数据处理节点上报的所述热度统计信息从所述局部热点数据中筛选出未存储于高性能存储介质中的第一全局热点数据之后，所述数据分层管理节点将所述第一全局热点数据暂存在临时存储区中；
11、所述将所述第一全局热点数据迁移至所述高性能存储介质中，包括：
12、通过各个所述数据处理节点从所述临时存储区中分别拉取属于其管理范围内的指定全局热点数据，并将所述指定全局热点数据迁移至高性能存储介质中。
13、在本公开的示例性实施例中，在将所述第一全局热点数据迁移至所述高性能存储介质中之后，所述方法还包括：
14、响应于接收到迁移完成消息，将所述第一全局热点数据写入一个热点存储文件中；多个所述热点存储文件按照生成时间的先后顺序排列形成时序文件链表；
15、以及，将所述第一全局热点数据及其关联的热度统计信息写入至所述热度统计数据库中。
16、在本公开的示例性实施例中，所述方法还包括：
17、监测所述高性能存储介质的数据占用容量；
18、响应于所述数据占用容量大于预设容量阈值，获取所述高性能存储介质中的冷数据；
19、将所述冷数据从所述高性能存储介质中迁移至低性能存储介质中。
20、在本公开的示例性实施例中，所述获取所述高性能存储介质中的冷数据，包括：
21、从所述时序文件链表中获取生成时间早于预设时间点的历史热点存储文件；
22、针对所述历史热点存储文件中包含的所述每个历史全局热点数据，从所述热度统计数据库中查询所述每个历史全局热点数据对应的热度统计信息；
23、若查询到所述热本文档来自技高网...
【技术保护点】
1.一种数据处理方法，其特征在于，应用于分布式存储系统中的数据分层管理节点，所述分布式存储系统中还包括多个数据处理节点，每个所述数据处理节点管理一个数据集，每个所述数据处理节点用于定期从其所管理的数据集中筛选出局部热点数据，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述多个数据处理节点上报的所述热度统计信息从所述局部热点数据中筛选出未存储于高性能存储介质中的第一全局热点数据，包括：
3.根据权利要求1或2所述的方法，其特征在于，在根据所述多个数据处理节点上报的所述热度统计信息从所述局部热点数据中筛选出未存储于高性能存储介质中的第一全局热点数据之后，所述数据分层管理节点将所述第一全局热点数据暂存在临时存储区中；
4.根据权利要求3所述的方法，其特征在于，在将所述第一全局热点数据迁移至所述高性能存储介质中之后，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述获取所述高性能存储介质中的冷数据，包括：
7.根据权利要求
8.根据权利要求6所述的方法，其特征在于，在将所述冷数据从所述高性能存储介质中迁移至低性能存储介质中之后，所述方法还包括：
9.根据权利要求2所述的方法，其特征在于，所述方法还包括：
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
11.一种数据处理装置，其特征在于，设置于分布式存储系统中的数据分层管理节点，所述分布式存储系统中还包括多个数据处理节点，每个所述数据处理节点管理一个数据集，每个所述数据处理节点用于定期从其所管理的数据集中筛选出局部热点数据，所述装置包括：
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～10中任意一项所述的数据处理方法。
13.一种电子设备，其特征在于，包括：
...【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于分布式存储系统中的数据分层管理节点，所述分布式存储系统中还包括多个数据处理节点，每个所述数据处理节点管理一个数据集，每个所述数据处理节点用于定期从其所管理的数据集中筛选出局部热点数据，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述多个数据处理节点上报的所述热度统计信息从所述局部热点数据中筛选出未存储于高性能存储介质中的第一全局热点数据，包括：
3.根据权利要求1或2所述的方法，其特征在于，在根据所述多个数据处理节点上报的所述热度统计信息从所述局部热点数据中筛选出未存储于高性能存储介质中的第一全局热点数据之后，所述数据分层管理节点将所述第一全局热点数据暂存在临时存储区中；
4.根据权利要求3所述的方法，其特征在于，在将所述第一全局热点数据迁移至所述高性能存储介质中之后，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述获取...
【专利技术属性】
技术研发人员：邹虎，朱斌，赵双嗣，唐金荣，何艳，陈子华，王琪，郑静，
申请(专利权)人：京东科技信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。