数据迁移方法、迁移端、代理端和系统技术方案

本发明专利技术提供了一种数据迁移方法、迁移端、代理端和系统，特别涉及大数据领域，所述方法包括：根据目标用户信息和原始集群信息，确定起始存储集群，以使代理端基于目标用户的数据读取请求从起始存储集群中读取数据，并基于目标用户的数据写入请求依次向起始存储集群和目标存储集群写入数据；基于起始存储集群的起始节点信息，确定起始存储集群中的起始主节点，并基于起始主节点的目标数据，确定目标存储集群中的目标节点；将所有起始主节点的目标数据并行迁移至目标节点，以使代理端基于目标用户的数据访问请求对目标存储集群进行的数据访问。本发明专利技术能够提高数据迁移的速度和准确性，从而提高数据迁移的效率。从而提高数据迁移的效率。从而提高数据迁移的效率。

【技术实现步骤摘要】
数据迁移方法、迁移端、代理端和系统


[0001]本专利技术涉及数据迁移
，特别涉及大数据领域，尤其涉及一种数据迁移方法、迁移端、代理端和系统。

技术介绍

[0002]在银行的业务处理中，往往需要将涉及的大量数据存储在相应的存储集群上。而为了满足日益增长的业务数据存储需求，需要使用新的存储集群，例如，若原来使用的存储集群为普通的数据库集群，而考虑到应用架构转型升级，对于数据的访问速度和存储量的要求有了提高，因此需要使用更先进的分布式缓存集群作为新的存储集群来替代上述数据库集群。于是，在更新存储集群时，需要将原始的存储集群的数据迁移至新的目标存储集群。
[0003]现有技术中，将原始的存储集群的数据迁移至新的目标存储集群的方式，主要为依次遍历原始存储集群中所有的数据，并进行按照遍历的数据顺序进行整体迁移，且在迁移过程中，为了减少迁移过程因有关业务对数据的访问需求出现中断而导致迁移速度变慢的情况出现，需要对迁移过程中的相应数据访问操作的时机进行限制，对相关业务的影响较大，不利于相关业务的顺利进行，且对数据访问操作的时机进行限制也并未考虑到访问操作对迁移过程的数据产生干扰而导致脏数据的产生。因此，上述方式中由于需要按序对数据进行整体迁移，导致数据迁移的过程耗时较长，而且，并未识别出原始存储集群中哪些节点的数据需要迁移而哪些节点的数据无需迁移，导致对于无需迁移的数据也进行了迁移，进一步增加了不必要的数据迁移耗时且对数据迁移的准确性产生了不良影响。另外，由于在迁移过程中对于数据访问操作进行了限制但未考虑到访问操作对迁移过程中的数据本身的干扰，因此可能会导致数据访问操作对数据迁移的过程造成干扰，导致脏数据的产生，进一步降低了数据迁移的准确性。
[0004]综上所述，现有技术中存在数据迁移的速度较慢、准确性较低，从而使数据迁移的效率较低的问题。

技术实现思路

[0005]本专利技术的一个目的在于提供一种数据迁移方法，以解决现有技术中数据迁移的速度较慢、准确性较低，从而使数据迁移的效率较低的问题。本专利技术的另一个目的在于提供一种迁移端。本专利技术的再一个目的在于提供一种代理端。本专利技术的还一个目的在于提供一种数据迁移系统。本专利技术的还一个目的在于提供一种计算机设备。本专利技术的还一个目的在于提供一种可读介质。
[0006]为了达到以上目的，本专利技术的一方面公开了一种数据迁移方法，所述方法包括：
[0007]根据目标用户的目标用户信息和原始存储集群的原始集群信息，确定对应的起始存储集群，以使代理端基于目标用户的数据读取请求从起始存储集群中读取数据，并基于目标用户的数据写入请求依次向起始存储集群和目标存储集群写入数据；
[0008]基于所述起始存储集群的起始节点信息，确定起始存储集群中的起始主节点，并基于所述起始主节点的目标数据，确定目标存储集群中对应的目标节点；
[0009]将所有起始主节点的目标数据并行迁移至对应的目标节点，以使代理端基于目标用户的数据访问请求对所述目标存储集群进行对应的数据访问。
[0010]可选的，所述根据目标用户的目标用户信息和原始存储集群的原始集群信息，确定对应的起始存储集群，包括：
[0011]根据所述目标用户信息，得到目标用户标识；
[0012]根据所述原始集群信息，得到原始集群地址；
[0013]根据所述目标用户标识和原始集群地址，确定原始集群中对应目标用户的起始存储集群。
[0014]可选的，进一步包括：
[0015]在根据目标用户的目标用户信息和原始存储集群的原始集群信息，确定对应的起始存储集群之后，
[0016]将预设的迁移进行标记和所述目标用户信息发送至所述代理端，以使所述代理端识别所述迁移进行标记，基于所述目标用户信息对应的目标用户的数据读取请求从起始存储集群中读取数据，并基于所述目标用户信息对应的目标用户的数据写入请求依次向起始存储集群和目标存储集群写入数据。
[0017]可选的，所述基于所述起始存储集群的起始节点信息，确定起始存储集群中的起始主节点，包括：
[0018]基于所述起始存储集群的起始节点信息，得到起始存储集群中每个起始节点对应的起始节点地址和起始节点主备标签；
[0019]根据所述起始节点主备标签为主节点标签的所述起始节点地址，确定所述起始主节点。
[0020]可选的，所述基于所述起始主节点的目标数据，确定目标存储集群中对应的目标节点，包括：
[0021]根据所述目标数据中的目标数据键，确定所述目标数据在所述目标存储集群中对应的分片信息；
[0022]根据所述分片信息，确定目标存储集群中对应的目标节点。
[0023]可选的，所述根据所述分片信息，确定目标存储集群中对应的目标节点，包括：
[0024]根据所述分片信息，得到目标节点地址；
[0025]根据所述目标节点地址，确定对应的所述目标节点。
[0026]可选的，所述将所有起始主节点的目标数据并行迁移至对应的目标节点，包括：
[0027]建立每个起始主节点和对应目标节点之间的数据迁移线程；
[0028]并行执行所有所述数据迁移线程，以将每个起始主节点的目标数据迁移至对应的目标节点。
[0029]可选的，进一步包括：
[0030]在将所有起始主节点的目标数据并行迁移至对应的目标节点之后，
[0031]将预设的迁移结束标记和所述目标用户信息发送至所述代理端，以使所述代理端识别所述迁移结束标记，基于所述目标用户信息对应的目标用户的数据访问请求对所述目
标存储集群进行对应的数据访问。
[0032]为了达到以上目的，本专利技术的一方面公开了一种数据迁移方法，所述方法包括：
[0033]在迁移端根据目标用户的目标用户信息和原始存储集群的原始集群信息，确定对应的起始存储集群后，基于目标用户的数据读取请求从起始存储集群中读取数据，并基于目标用户的数据写入请求依次向起始存储集群和目标存储集群写入数据；
[0034]在迁移端基于所述起始存储集群的起始节点信息，确定起始存储集群中的起始主节点，并基于所述起始主节点的目标数据，确定目标存储集群中对应的目标节点；将所有起始主节点的目标数据并行迁移至对应的目标节点后，基于目标用户的数据访问请求对所述目标存储集群进行对应的数据访问。
[0035]可选的，所述基于目标用户的数据读取请求从起始存储集群中读取数据，包括：
[0036]基于目标用户的数据读取请求，得到目标用户标识和对应的原始集群地址；
[0037]根据所述目标用户标识和原始集群地址，确定对应的所述原始集群中对应目标用户的所述起始存储集群；
[0038]从所述起始存储集群中读取数据。
[0039]可选的，所述基于目标用户的数据写入请求依次向起始存储集群和目标存储集群写入数据，包括：
[0040]基于目标用户的数据写入请求，得到写入数据；
[0041]根据所述写入数据中的写入数据键，确本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据迁移方法，其特征在于，包括：根据目标用户的目标用户信息和原始存储集群的原始集群信息，确定对应的起始存储集群，以使代理端基于目标用户的数据读取请求从起始存储集群中读取数据，并基于目标用户的数据写入请求依次向起始存储集群和目标存储集群写入数据；基于所述起始存储集群的起始节点信息，确定起始存储集群中的起始主节点，并基于所述起始主节点的目标数据，确定目标存储集群中对应的目标节点；将所有起始主节点的目标数据并行迁移至对应的目标节点，以使代理端基于目标用户的数据访问请求对所述目标存储集群进行对应的数据访问。2.根据权利要求1所述的方法，其特征在于，所述根据目标用户的目标用户信息和原始存储集群的原始集群信息，确定对应的起始存储集群，包括：根据所述目标用户信息，得到目标用户标识；根据所述原始集群信息，得到原始集群地址；根据所述目标用户标识和原始集群地址，确定原始集群中对应目标用户的起始存储集群。3.根据权利要求1所述的方法，其特征在于，进一步包括：在根据目标用户的目标用户信息和原始存储集群的原始集群信息，确定对应的起始存储集群之后，将预设的迁移进行标记和所述目标用户信息发送至所述代理端，以使所述代理端识别所述迁移进行标记，基于所述目标用户信息对应的目标用户的数据读取请求从起始存储集群中读取数据，并基于所述目标用户信息对应的目标用户的数据写入请求依次向起始存储集群和目标存储集群写入数据。4.根据权利要求1所述的方法，其特征在于，所述基于所述起始存储集群的起始节点信息，确定起始存储集群中的起始主节点，包括：基于所述起始存储集群的起始节点信息，得到起始存储集群中每个起始节点对应的起始节点地址和起始节点主备标签；根据所述起始节点主备标签为主节点标签的所述起始节点地址，确定所述起始主节点。5.根据权利要求1所述的方法，其特征在于，所述基于所述起始主节点的目标数据，确定目标存储集群中对应的目标节点，包括：根据所述目标数据中的目标数据键，确定所述目标数据在所述目标存储集群中对应的分片信息；根据所述分片信息，确定目标存储集群中对应的目标节点。6.根据权利要求5所述的方法，其特征在于，所述根据所述分片信息，确定目标存储集群中对应的目标节点，包括：根据所述分片信息，得到目标节点地址；根据所述目标节点地址，确定对应的所述目标节点。7.根据权利要求1所述的方法，其特征在于，所述将所有起始主节点的目标数据并行迁移至对应的目标节点，包括：建立每个起始主节点和对应目标节点之间的数据迁移线程；
并行执行所有所述数据迁移线程，以将每个起始主节点的目标数据迁移至对应的目标节点。8.根据权利要求1所述的方法，其特征在于，进一步包括：在将所有起始主节点的目标数据并行迁移至对应的目标节点之后，将预设的迁移结束标记和所述目标用户信息发送至所述代理端，以使所述代理端识别所述迁移结束标记，基于所述目标用户信息对应的目标用户的数据访问请求对所述目标存储集群进行对应的数据访问。9.一种数据迁移方法，其特征在于，包括：在迁移端根据目标用户的目标用户信息和原始存储集群的原始集群信息，确定对应的起始存储集群后，基于目标用户的数据读取请求从起始存储集群中读取数据，并基于目标用户的数据写入请求依次向起始存储集群和目标存储集群写入数据；在迁移端基于所述起始存储集群的起始节点信息，确定起始存储集群中的起始主节点，并基于所述起始主节点的目标数据，确定目标存储集群中对应的目标节点；将所有起始主节点的目标数据并行迁移至对应的目标节点后，基于目标用户的数据访问请求对所述目标存储集群进行对应的数据访问。10.根据权利要求9所述的方法，其特征在于，所述基于目标用户的数据读取请求从起始存储集群中读取数据，包括：基于目标用户的数据读取请求，得到目标用户标识和对应的原始集群地址；根据所述目标用户标识和原始集群地址，确定对应的所述原始集群中对应目标用户的所述起始存储集群；从所述起始存储集群中读取数据。11.根据权利要求9所述的方法，其特征在于，所述基于目标用户的数据写入请求依次向起始存储集群和目标存储集群写入数据，包括：基于目标用户的数据写入请求，得到写入数据；根据所述写入数据中的写入数据键，确...

【专利技术属性】
技术研发人员：孙扬，郑宝城，王洁如，陈晓虹，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：