数据迁移方法、装置、电子设备及可读存储介质制造方法及图纸

本申请公开了一种数据迁移方法、装置、电子设备及可读存储介质，属于数据处理技术领域。所述方法包括：在启动第一数据副本之后，获取第一位置标识，所述第一位置标识为写入第二数据副本中的数据中写入时间距离当前时间最短的数据对应的位置标识；获取第二位置标识，所述第二位置标识为所述第二数据副本中目标数据对应的位置标识，所述目标数据的写入时间晚于所述第一位置标识对应的数据的写入时间；将所述目标数据迁移至所述第一数据副本中。本申请可以提高数据迁移速度，节省数据迁移耗时，且减少了集群内部节点的I/O压力。

【技术实现步骤摘要】
数据迁移方法、装置、电子设备及可读存储介质
本申请属于数据处理
，具体涉及一种数据迁移方法、装置、电子设备及可读存储介质。
技术介绍
消息中间件(MessageOrientedMiddleware)是指支持与保障分布式应用程序之间同步/异步收发消息的中间件。消息中间件是一种独立的系统软件或服务程序，它在计算系统中是一个关键软件，位于用户应用和操作系统及网络软件之间，为应用提供了公用的通信手段。消息中间件为开发者提供了公用于所有环境的应用程序接口，当应用程序中嵌入其函数调用，便可利用其运行的特定操作系统和网络环境的功能，为应用执行通信功能。在有新节点加入消息中间件集群时，或集群内部各节点上的数据流量分布不均匀，导致部分节点负载过高，则消息中间件集群内部需要进行数据迁移实现整个集群的负载均衡，而在进行数据同步时，通常是从副本中保存数据的最早的位置开始，而当副本内的单个存储分区数量较大时，全量数据同步的过程耗时较长，且同步读取硬盘数据的过程会导致集群内部节点的I/O(Input/Output)压力过大。
技术实现思路
本申请实施例的目的是提供一种数据迁移方法、装置、电子设备及可读存储介质，能够解决现有技术中的数据同步方案耗时较长，且导致集群内部节点的I/O压力过大的问题。为了解决上述技术问题，本申请是这样实现的：第一方面，本申请实施例提供了一种数据迁移方法，该方法包括：在启动第一数据副本之后，获取第一位置标识，所述第一位置标识为写入第二数据副本中的数据中写入时间距离当前时间最短的数据对应的位置标识；获取第二位置标识，所述第二位置标识为所述第二数据副本中目标数据对应的位置标识，所述目标数据的写入时间晚于所述第一位置标识对应的数据的写入时间；将所述目标数据迁移至所述第一数据副本。第二方面，本申请实施例提供了一种数据迁移装置，该装置包括：第一位置标识获取模块，用于在启动第一数据副本之后，获取第一位置标识，所述第一位置标识为写入第二数据副本中的数据中写入时间距离当前时间最短的数据对应的位置标识；第二位置标识获取模块，用于获取第二位置标识，所述第二位置标识为所述第二数据副本中目标数据对应的位置标识，所述目标数据的写入时间晚于所述第一位置标识对应的数据的写入时间；目标数据迁移模块，用于将所述目标数据迁移至所述第一数据副本。第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的数据迁移方法的步骤。第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的数据迁移方法的步骤。第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的数据迁移方法。在本申请实施例中，通过在启动第一数据副本之后，获取第一位置标识，第一位置标识为写入第二数据副本中的数据中写入时间距离当前时间最短的数据对应的位置标识，获取第二位置标识，第二位置标识为第二数据副本中目标数据对应的位置标识，目标数据的写入时间晚于第一位置标识对应的数据的写入时间，将目标数据迁移至第一数据副本，本申请实施例在数据迁移过程中，不需要读取历史数据，因此，数据迁移速度较快，能够节省数据迁移耗时，且减少了集群内部节点的I/O压力。附图说明图1为本申请实施例提供的一种数据迁移方法的步骤流程图；图2为本申请实施例提供的一种获取位置标识的示意图；图3为本申请实施例提供的一种数据迁移过程的示意图；图4为本申请实施例提供的一种数据迁移装置的结构示意图；图5为本申请实施例提供的一种电子设备的结构示意图；图6为本申请实施例提供的另一种电子设备的结构示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的数据迁移方法进行详细地说明。参照图1，示出了本申请实施例提供的一种数据迁移方法的步骤流程图，如图1所示，该数据迁移方法具体可以包括如下步骤：步骤101：在启动第一数据副本之后，获取第一位置标识，所述第一位置标识为写入第二数据副本中的数据中写入时间距离当前时间最短的数据对应的位置标识。本申请实施例可以应用于对集群内某个服务节点中的数据进行迁移的场景中。第一数据副本是指在集群中新创建的数据副本，数据副本可以用于存储服务器集群中产生的数据。在具体实现中，数据副本可以分为数据存储副本和数据备份副本，其中，数据存储副本可以用于存储服务器集群中产生的数据，而数据备份副本可以用于备份对应的数据存储副本中的数据，以避免数据存储副本出现异常时，导致数据丢失。第二数据副本是指预先在服务器集群中建立的数据副本。在本示例中，第二数据副本的数量可以为一个或多个，具体地，可以根据业务需求而定，本实施例对此不加以限制。位置标识是指第二副本中存储数据的标识，在本示例中，位置标识可以为一个数据标识，如1、2、...、n(n为正整数)，当然，位置标识也可以为其它可以用于表示数据存储先后顺序的标识，如字符标识，a、b、c、..等等，对于位置标识。如图2所示，在将数据保存于副本中之后，即会对数据分配一个位置标识，每个数据的位置标识是按照顺序排列的，如1、2、....、n(n为大于等于1的正整数)，且在数据副本中数据的位置标识是根据保存于数据副本中的数据的先后顺序进行分配的，例如，第二数据副本中保存的数据包括数据a、数据b和数据c，这三个数据的保存顺序按照从先到后的顺序依次为：数据b、数据a和数据c，那么为数据b分配的位置标识为位置1、为数据a分配的位置标识为位置2，为数据c分配的位置标识为位置3。第一位置标识是指第二数据副本中的数据中写入时间距离当前时间最短的数据对应的位置标识，如图2所示，11、12为第二数据副本中预先保存的数据的位置标识，13为新产生的数据1000000003的位置标识，此时，可以本文档来自技高网...

【技术保护点】
1.一种数据迁移方法，其特征在于，包括：/n在启动第一数据副本之后，获取第一位置标识，所述第一位置标识为写入第二数据副本中的数据中写入时间距离当前时间最短的数据对应的位置标识；/n获取第二位置标识，所述第二位置标识为所述第二数据副本中目标数据对应的位置标识，所述目标数据的写入时间晚于所述第一位置标识对应的数据的写入时间；/n将所述目标数据迁移至所述第一数据副本。/n

【技术特征摘要】
1.一种数据迁移方法，其特征在于，包括：
在启动第一数据副本之后，获取第一位置标识，所述第一位置标识为写入第二数据副本中的数据中写入时间距离当前时间最短的数据对应的位置标识；
获取第二位置标识，所述第二位置标识为所述第二数据副本中目标数据对应的位置标识，所述目标数据的写入时间晚于所述第一位置标识对应的数据的写入时间；
将所述目标数据迁移至所述第一数据副本。


2.根据权利要求1所述的方法，其特征在于，所述获取第二位置标识，包括：
每隔预设时长，对所述第二数据副本中的数据的位置标识进行一次遍历；
根据遍历结果，获取所述第二数据副本中写入时间晚于所述第一位置标识对应的数据写入时间的定位数据；
获取所述定位数据对应的位置标识，并将该位置标识作为所述第二位置标识。


3.根据权利要求1所述的方法，其特征在于，所述将所述目标数据迁移至所述第一数据副本，包括：
根据所述第一数据副本中预先启动的数据抓取线程，获取所述目标数据；
将所述目标数据添加至所述第一数据副本中，并从所述第二数据副本中删除所述目标数据。


4.根据权利要求1所述的方法，其特征在于，在所述将所述目标数据迁移至所述第一数据副本之后，还包括：
获取与所述第一数据副本对应的备份数据副本；
将所述目标数据同步至所述备份数据副本。


5.根据权利要求1所述的方法，其特征在于，在所述将所述目标数据迁移至所述第一数据副本之后，还包括：
在所述第一数据副本中写入数据的数据量大于或等于设定数据量阈值的情况下，将所述第一数据副本添加至副本集群列表；
在所述第一数据副本的启动时长大于或等于设定时长的情况下，将所述第一数据副本添加至副本集群列表。

【专利技术属性】
技术研发人员：杨仪军，
申请(专利权)人：维沃移动通信有限公司，
类型：发明
国别省市：广东;44