数据实时迁移的方法和装置制造方法及图纸

本发明专利技术公开了一种数据实时迁移的方法，包括：监测数据请求量；根据监测到的数据请求量确定出第一热点数据；在迁移列表中添加所述第一热点数据的数据标识，并启动将所述第一热点数据迁移至第一数据库的过程。达到释放服务器的工作线程资源，缓解服务器压力，维持数据处理的正常运行的效果。

【技术实现步骤摘要】

本专利技术属于互联网
，具体地说，涉及一种数据实时迁移的方法和装置。
技术介绍
随着互联网的发展，上网用户不断增加，使网站的访问量也随之大幅增加，对此，各厂商采用服务器镜像技术，在用户相对集中的地方放上缓存设备，作为对原始服务器的镜像服务器，用户访问原来的服务器时，被网络重定向到离用户最近的镜像服务器，从而提高了网络用户的访问质量和访问速度。但近年来随着电子商务以及社交平台等互联网应用的持续火爆，出现了网络热点集中而且切换频率加快的现象。经常出现网站数据库中某些数据的瞬间并发度极高，对该数据进行写操作的请求急剧增加，这时会使大量请求在数据库等待对该数据进行行锁，同时占用着数据库的工作线程资源，而数据库的工作线程资源是有限的。例如，数据库的系统吞吐量为7000tps，当前在该数据库中存在10个热点数据，每个热点数据的并发数达到了1000tps，则10个热点数据的并发数达到10000tps，已超过系统吞吐量，导致数据库的工作线程得不到释放而变得不可用，使其他非热点数据的处理也会受到影响。
技术实现思路
有鉴于此，本申请提供了一种数据实时迁移的方法和装置，解决了由于瞬时出现热点数据而导致数据库不可用的技术问题。为了解决上述技术问题，本申请公开了一种数据实时迁移的方法，包括：监测数据请求量；根据监测到的数据请求量确定出第一热点数据；在迁移列表中添加所述第一热点数据的数据标识，并启动将所述第一热点数据迁移至第一数据库的过程。所述方法还包括：判断所述将所述第一热点数据迁移至第一数据库的过程是否完成，当所述将所述第一热点数据迁移至第一数据库的过程已完成时，在所述迁移列表中删除所述第一热点数据的数据标识，并在预设的第一热点数据列表中添加所述第一热点数据的数据标识。所述方法还包括：当所述将所述第一热点数据迁移至第一数据库的过程未完成时，判断接收到的对所述第一热点数据的请求是否为写入请求；当接收到的对所述第一热点数据的请求是写入请求时，返回写入失败的信息；当接收到的对所述第一热点数据的请求是读取请求时，允许对所述第一热点数据的读取操作。所述方法还包括：获取所述第一数据库的负载信息；根据所述负载信息确定需要从所述第一数据库迁移至第二数据库的第二热点数据。所述根据所述负载信息确定需要从所述第一数据库迁移至第二数据库的第二热点数据，包括：获取所述负载信息中的数据锁定队列；根据所述数据锁定队列确定每条第一热点数据所对应的执行中的会话数量；将所述执行中的会话数量超过预设阈值的第一热点数据确定为需要从所述第一数据库迁移至第二数据库的第二热点数据。所述在预设的第一热点数据列表中添加所述第一热点数据的数据标识之后，所述方法还包括：判断是否接收到对所述第一热点数据的请求；当接收到对所述第一热点数据的请求时，将对所述第一热点数据的请求路由至所述第一数据库。所述方法还包括：判断接收到的请求是否是对预设的第一热点数据列表中的第一热点数据的请求；当接收到的请求是对所述预设的第一热点数据列表中的第一热点数据的请求时，将所述请求路由至所述第一数据库。为了解决上述技术问题，本申请还公开了一种数据实时迁移的装置，包括：监测模块，用于监测数据请求量；第一确定模块，用于根据检测到的数据请求量确定出第一热点数据；第一处理模块，在迁移列表中添加所述第一热点数据的数据标识，并启动将所述第一热点数据迁移至第一数据库的过程。所述装置还包括：第一判断模块，用于判断所述将所述第一热点数据迁移至第一数据库的过程是否完成，第二处理模块，用于当所述将所述第一热点数据迁移至第一数据库的过程已完成时，在所述迁移列表中删除所述第一热点数据的数据标识，并在预设的第一热点数据列表中添加所述第一热点数据的数据标识。所述装置还包括：第二判断模块，用于当所述将所述第一热点数据迁移至第一数据库的过程未完成时，判断接收到的对所述第一热点数据的请求是否为写入请求；第三处理模块，用于当接收到的对所述第一热点数据的请求是写入请求时，返回写入失败的信息；第四处理模块，用于当接收到的对所述第一热点数据的请求是读取请求时，允许对所述第一热点数据的读取操作。所述装置还包括：获取模块，用于获取所述第一数据库的负载信息；第二确定模块，用于根据所述负载信息确定需要从所述第一数据库迁移至第二数据库的第二热点数据。所述第二确定模块包括：获取子模块，用于获取所述负载信息中的数据锁定队列；第一确定子模块，用于根据所述数据锁定队列确定每条第一热点数据所对应的执行中的会话数量；第二确定子模块，用于将所述执行中的会话数量超过预设阈值的第一热点数据确定为需要从所述第一数据库迁移到第二数据库的第二热点数据。所述装置还包括：第三判断模块，用于判断是否接收到对所述第一热点数据的请求；第一路由模块，用于当接收到对所述第一热点数据的请求时，将对所述第一热点数据的请求路由至所述第一数据库。所述装置还包括：第四判断模块，用于判断接收到的请求是否是对预设的第一热点数据列表中的第一热点数据的请求；第二路由模块，用于当接收到的请求是对所述预设的第一热点数据列表中的第一热点数据的请求时，将所述请求路由至所述第一数据库。与现有技术相比，本申请可以获得包括以下技术效果：监测到数据请求量较大的第一热点数据时，启动将该第一热点数据向第一数据库迁移的过程，释放服务器的工作线程资源，缓解服务器压力，维持数据处理的正常运行。当然，实施本申请的任一产品必不一定需要同时达到以上所述的所有技术效果。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是本申请实施例提供的一种数据实时迁移的方法流程示意图；图2是本申请实施例提供的将第一热点数据再次进行迁移的方法流程示意图；图3是本申请实施例提供的一种数据实时迁移的方法流程示意图；图4是本申请实施例提供的一种数据实时迁移的装置的结构示意图。具体实施方式以下将配合附图及实施例来详细说明本专利技术的实施方式，藉此对本专利技术如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。图1是本申请实施例提供的一种数据实时迁移的方法，适用于服务器设备，该方法包括以下步骤。在步骤S10中，监测数据请求量。服务器设备监测本地接收到的数据请求量，包括对本地数据的读取请求和写入请求。在步骤S11中，根据监测到的数据请求量确定出第一热点数据。对于服务器设备来说，如果接收到数据请求是写入请求，需要对该数据加入行锁，防止其他写入请求同时对该数据进行写入操作；而对于数据的读取请求由于其并不修改数据的值，则可以允许多个请求同时读取该数据。因此，如果同时对某一条数据的写入请求过多，会出现大量写入请求处于等待状态，从而占用服务器线程资源。为了防止这种情况出现，根据检测到的数据请求量确定出第一热点数据，该第一热点数据是指接收到的写入请求频率过高的数据。服务器可以对每条数据在单位时间内接收到的写入请求数量(即写入请求的频率)进行监测，将超过阈值的数据确定为第一热点数据。在步骤S12中，在迁移列表中添加第一热点数据的数据标识，并启动将第一热点数据迁移至第一数据库的过程。当某条数据成为第一热点数据时，说明该第一热点数据已占本文档来自技高网...

【技术保护点】
一种数据实时迁移的方法，其特征在于，包括：监测数据请求量；根据监测到的数据请求量确定出第一热点数据；在迁移列表中添加所述第一热点数据的数据标识，并启动将所述第一热点数据迁移至第一数据库的过程。

【技术特征摘要】
1.一种数据实时迁移的方法，其特征在于，包括：监测数据请求量；根据监测到的数据请求量确定出第一热点数据；在迁移列表中添加所述第一热点数据的数据标识，并启动将所述第一热点数据迁移至第一数据库的过程。2.如权利要求1所述的方法，其特征在于，所述方法还包括：判断所述将所述第一热点数据迁移至第一数据库的过程是否完成，当所述将所述第一热点数据迁移至第一数据库的过程已完成时，在所述迁移列表中删除所述第一热点数据的数据标识，并在预设的第一热点数据列表中添加所述第一热点数据的数据标识。3.如权利要求2所述的方法，其特征在于，所述方法还包括：当所述将所述第一热点数据迁移至第一数据库的过程未完成时，判断接收到的对所述第一热点数据的请求是否为写入请求；当接收到的对所述第一热点数据的请求是写入请求时，返回写入失败的信息；当接收到的对所述第一热点数据的请求是读取请求时，允许对所述第一热点数据的读取操作。4.如权利要求2所述的方法，其特征在于，所述方法还包括：获取所述第一数据库的负载信息；根据所述负载信息确定需要从所述第一数据库迁移至第二数据库的第二热点数据。5.如权利要求4所述的方法，其特征在于，所述根据所述负载信息确定需要从所述第一数据库迁移至第二数据库的第二热点数据，包括：获取所述负载信息中的数据锁定队列；根据所述数据锁定队列确定每条第一热点数据所对应的执行中的会话数量；将所述执行中的会话数量超过预设阈值的第一热点数据确定为需要从所述第一数据库迁移至第二数据库的第二热点数据。6.如权利要求2所述的方法，其特征在于，所述在预设的第一热点数据列表中添加所述第一热点数据的数据标识之后，所述方法还包括：判断是否接收到对所述第一热点数据的请求；当接收到对所述第一热点数据的请求时，将对所述第一热点数据的请求路由至所述第一数据库。7.如权利要求1所述的方法，其特征在于，所述方法还包括：判断接收到的请求是否是对预设的第一热点数据列表中的第一热点数据的请求；当接收到的请求是对所述预设的第一热点数据列表中的第一热点数据的请求时，将所述请求路由至所述第一数据库。8.一种数据实时迁移的装置，其特征在于，包括：监测模块，用于监测数据请求量；第一确定模块，用于根...

【专利技术属性】
技术研发人员：于君泽，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY