一种冷热数据分离方法、装置及其设备制造方法及图纸

本申请公开了一种冷热数据分离方法、装置及其设备，用于解决现有的冷热数据分离的处理方法不够优化，会耗费大量的时间和精力的问题。所述方法包括：将目标业务的数据写入MySQL数据库；在目标业务的数据被写入MySQL数据库之后，将目标业务的数据异步发送至HBASE数据库的指定消息队列；根据预设的冷数据定义，从MySQL数据库中删除目标业务的冷数据，冷数据为目标业务的数据中时效性需求小于设定阈值的数据，以使得MySQL数据库中存储的数据为时效性需求大于或等于设定阈值的热数据；按照预设的数据格式重组从指定消息队列中获取的数据，得到具备指定前缀的重组数据，并将具备指定前缀的重组数据写入HBASE数据库，以使得HBASE数据库中存储的数据为目标业务的全量数据。据。据。

【技术实现步骤摘要】
一种冷热数据分离方法、装置及其设备


[0001]本申请涉及计算机
，尤其涉及一种冷热数据分离方法、装置及其设备。

技术介绍

[0002]随着数据量的不断增长积累，不同类别的数据也会呈现出不同的访问热度。例如一个广告平台会不断地写入最新的广告花费数据，对于该平台中的广告花费数据，用户往往会有不同的时效性要求。比如实时性较高的广告花费实时数据(可归纳为访问频率较高的热数据)，需要不断地访问最新的广告花费数据，而实时性较低的广告花费月度报表(可归纳为访问频率较低的冷数据)，则只需要每隔一个月访问。
[0003]为了应对上述不同时效性要求的冷热数据的访问需求，现有技术通常采用以下两种常见的冷热数据分离的处理方法：第一种，按照业务维度对冷热数据进行分区分表，但这种方式需要对所有数据进行重新归类，需要耗费大量的时间和精力进行后台代码的修改；第二种，按照业务维度只对冷数据进行归档，也就是将访问频率较低的冷数据压缩成数据包存储到磁盘中，这种冷数据处理方式虽然节省了冷数据的存储空间，但却造成了压缩成数据包的冷数据不可查询的问题。
[0004]因此，亟需一种冷热数据分离方法以解决现有的冷热数据分离的处理方法不够优化，会耗费大量的时间和精力进行后台代码修改或者造成冷数据不可查的问题。

技术实现思路

[0005]本申请实施例提供了一种冷热数据分离方法、装置及其设备，以解决现有的冷热数据分离的处理方法不够优化，会耗费大量的时间和精力进行后台代码修改甚至造成冷数据不可查的问题。
[0006]为解决上述技术问题，本申请实施例是这样实现的：
[0007]第一方面，提出了一种冷热数据分离方法，包括：
[0008]将目标业务的数据写入MySQL数据库；
[0009]在所述目标业务的数据被写入MySQL数据库之后，将所述目标业务的数据异步发送至HBASE数据库的指定消息队列；
[0010]根据预设的冷数据定义，从所述MySQL数据库中删除所述目标业务的冷数据，所述冷数据为所述目标业务的数据中时效性需求小于设定阈值的数据，以使得所述MySQL数据库中存储的数据为时效性需求大于或等于所述设定阈值的热数据；
[0011]按照预设的数据格式重组从所述指定消息队列中获取的数据，得到具备指定前缀的重组数据，并将具备所述指定前缀的重组数据写入所述HBASE数据库，以使得所述HBASE数据库中存储的数据为所述目标业务的全量数据，所述指定前缀中包含具备所述指定前缀的重组数据对应的业务标识。
[0012]第二方面，提出了一种冷热数据分离装置，包括：
[0013]第一写入模块，用于将目标业务的数据写入MySQL数据库；
[0014]数据发送模块，用于在所述目标业务的数据被写入MySQL数据库之后，将所述目标业务的数据异步发送至HBASE数据库的指定消息队列；
[0015]冷数据删除模块，用于根据预设的冷数据定义，从所述MySQL数据库中删除所述目标业务的冷数据，所述冷数据为所述目标业务的数据中时效性需求小于设定阈值的数据，以使得所述MySQL数据库中存储的数据为时效性需求大于或等于所述设定阈值的热数据；
[0016]第二写入模块，用于按照预设的数据格式重组从所述指定消息队列中获取的数据，得到具备指定前缀的重组数据，并将具备所述指定前缀的重组数据写入所述HBASE数据库，以使得所述HBASE数据库中存储的数据为所述目标业务的全量数据，所述指定前缀中包含具备所述指定前缀的重组数据对应的业务标识。
[0017]第三方面，提出了一种电子设备，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机可执行指令，所述计算机可执行指令被所述处理器执行时实现如上述第一方面所述的冷热数据分离方法的步骤。
[0018]第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机可执行指令，所述计算机可执行指令被处理器执行时实现如上述第一方面所述的冷热数据分离方法的步骤。
[0019]本申请实施例采用上述技术方案至少可以达到下述技术效果：
[0020]本说明书实施例中提供的冷热数据分离方法，能够将目标业务的数据存储到MySQL数据库中之后，将目标业务的数据异步存储到HBASE数据库，并删除MySQL数据库中目标业务的冷数据，使得MySQL数据库存储目标业务的热数据，而HBASE数据库中存储目标业务的全量数据，从而实现了目标业务的热数据从全量数据中的有效分离，避免了热数据分离过程中投入大量的代码修改工作，而且包含目标业务的冷数据的全量数据存储在HBASE数据库也不影响冷数据查询的问题。
附图说明
[0021]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0022]图1为本说明书一个实施例提供的一种游戏角色的生成方法的实施流程示意图；
[0023]图2为本说明书一个实施例提供的游戏角色的生成方法应用于实际场景中的过程示意图；
[0024]图3为本说明书一个实施例提供的游戏角色的生成方法中游戏角色之间的对话的生成过程示意图；
[0025]图4为本说明书一个实施例提供的一种游戏角色的生成装置的结构示意图；
[0026]图5为本说明书一个实施例提供的一种电子设备的结构示意图。
具体实施方式
[0027]为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0028]以下结合附图，详细说明本申请各实施例提供的技术方案。
[0029]为解决现有的冷热数据分离的处理方法不够优化，会耗费大量的时间和精力进行后台代码修改或者造成冷数据不可查的问题，本说明书实施例提供一种冷热数据分离方法，能够将目标业务的数据存储到MySQL数据库中之后，将目标业务的数据异步存储到HBASE数据库，并删除MySQL数据库中目标业务的冷数据，使得MySQL数据库存储目标业务的热数据，而HBASE数据库中存储目标业务的全量数据，从而实现了目标业务的热数据从全量数据中的有效分离，避免了热数据分离过程中投入大量的代码修改工作，而且包含目标业务的冷数据的全量数据存储在HBASE数据库也不影响冷数据查询的问题。
[0030]具体地，本说明书一个或多个实施例提供的一种冷热数据分离方法的实现流程示意图如图1所示，包括：
[0031]步骤110，将目标业务的数据写入MySQL数据库。
[0032]为实现将目标业务的数据写入到MySQL数据库，可预先开发出一个独立的数据写入接口，可通过调用该数据写入接口将目标业务的数据写入MySQL数据库中。数据写本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种冷热数据分离方法，其特征在于，包括：将目标业务的数据写入MySQL数据库；在所述目标业务的数据被写入MySQL数据库之后，将所述目标业务的数据异步发送至HBASE数据库的指定消息队列；根据预设的冷数据定义，从所述MySQL数据库中删除所述目标业务的冷数据，所述冷数据为所述目标业务的数据中时效性需求小于设定阈值的数据，以使得所述MySQL数据库中存储的数据为时效性需求大于或等于所述设定阈值的热数据；按照预设的数据格式重组从所述指定消息队列中获取的数据，得到具备指定前缀的重组数据，并将具备所述指定前缀的重组数据写入所述HBASE数据库，以使得所述HBASE数据库中存储的数据为所述目标业务的全量数据，所述指定前缀中包含具备所述指定前缀的重组数据对应的业务标识。2.如权利要求1所述的方法，其特征在于，将具备所述指定前缀的重组数据写入所述HBASE数据库之后，所述方法还包括：获取针对所述目标业务的数据的查询请求，所述查询请求中包含对所述目标业务的数据的查询类别；基于所述查询请求中的查询类别确定所述查询请求的时效性需求；根据所述查询请求的时效性需求，从所述MySQL数据库和所述HBASE数据库中确定优先查询的数据库。3.如权利要求2所述的方法，其特征在于，根据所述查询请求的时效性需求，从所述MySQL数据库和所述HBASE数据库中确定优先查询的数据库，包括：如果所述查询请求的时效性需求大于或等于所述设定阈值，则优先从所述MySQL数据库中获取与所述查询请求中的关键词相匹配的数据；如果所述查询请求的时效性需求小于所述设定阈值，则优先从所述HBASE数据库中获取与所述查询请求中的关键词相匹配的数据。4.如权利要求3所述的方法，其特征在于，优先从所述MySQL数据库中获取与所述查询请求中的关键词相匹配的数据，包括：如果所述MySQL数据库中不存在与所述查询请求中的关键词相匹配的数据，则从所述HBASE数据库中获取与所述查询请求中的关键词相匹配的数据；如果所述MySQL数据库中存在与所述查询请求中的关键词相匹配的数据，则从所述MySQL数据库中获取与所述查询请求中的关键词相匹配的数据。5.如权利要求3所述的方法，其特征在于，优先从所述HBASE数据库中获取与所述查询请求中的关键词相匹配的数据，包括：如果所述HBASE数据库中不存在与所述查询请求中的关键词相匹配的数据，则从所述MySQL数据库中获取与所述查询请求中的关键词相匹配的数据；如果所述HBASE数据库中存在与所述查询请求中的关键词相匹配的数据，则从所述HBASE数据库中获取与所述查询请求中的关键词相匹配的数据。6.如权利要求1所述的方法，其特征在于，根据预设的冷数据定义，从所述MySQL数据库中删除所述目标业务的冷数据，包括：每隔预设时间段，根据所述预设的冷数据定义，从所述MySQL数据库中导出所述目标业
务的冷数据；将所述目标业务的冷数据压缩为数据包存储到第三方存储设备中；从所述MySQL数据库中删除所述目标业务的冷数据。7.如权利要求1所述的方法，其特征在于，按照预设的数据格式重组从所述指定消息队列中获取的数据，得到具备指定前缀的重组数据，包括：通过指定多线程从所述指定消息队列获取多个数据；将通过所述指定多线程从所述指定消息队列获取的所述多个数据组装...

【专利技术属性】
技术研发人员：高文浩，李涛，
申请(专利权)人：郑州阿帕斯数云信息科技有限公司，
类型：发明
国别省市：