本申请公开了一种超大数据迁移方法、装置、设备、存储介质，涉及云服务技术领域，包括：获取数据迁移请求，并创建与源磁盘大小相同的目标磁盘；若在通过数据读取函数从源磁盘中读取源数据的过程中，存在新数据写入源磁盘，则对源磁盘中用于保存数据的扇区进行查询，以获取保存新数据的目标扇区，并将目标扇区更改保存至预设文件目录中；从预设文件目录中查询目标扇区，遍历读取目标扇区中的新数据，并将新数据压缩写入目标磁盘。摒弃Vmware提供的不完善SDK接口，借助C库的读取函数实现读写，实现离线迁移虚拟机业务数据，使用独立文件记录数据改动扇区，通过全局遍历实现在线有数据写入的迁移场景下数据不丢失，重新实现压缩迁移接口提升传输效率。口提升传输效率。口提升传输效率。
【技术实现步骤摘要】
一种超大数据迁移方法、装置、设备、存储介质
[0001]本专利技术涉及云服务
，特别涉及一种超大数据迁移方法、装置、设备、存储介质。
技术介绍
[0002]随着国内云部署和云应用的需求也日益增长，各大厂商均在纷纷布局自己的产品抢占市场。各家云厂商的给客户提供服务的数据中心中，或多或少都运行着客户的核心业务数据。因此跨平台的数据迁移也是自家产品获取更大产品份额的重要功能。如果能很好的支持从其他平台跨平台迁移数据到自己平台，这将大大增加自己替换竞品产品的可能性。因此各家云厂商都非常重视该功能的实现。Vmware作为全球虚拟化产品的标杆企业，也抢占了国内很大一部分市场，但是随着国产化的兴起，以及客户各种需求的拓展，国内厂商也有了很大的发展机会。其他厂商对Vmware的兼容性已经成为了一个行业准则。能支持从Vmware平台跨平台将客户虚拟机迁移到自己平台中成了市场对产品考核的一个关键指标。但是Vmware产品版本号众多，且自身也存在一些兼容性问题、产品对外SDK接口功能不完整的问题。因此在对接迁移的时候会遇到各种各样的问题。其中给一个有一个较为普遍的问题是Vmware平台上超大磁盘在跨平台迁移时各家厂商支持的均不太理想，经常需要研发人员介入解决数据损坏、迁移慢等各种问题。
[0003]综上，如何实现超大数据迁移，解除磁盘数据大于2T不能正常迁移的限制，避免在线/离线迁移虚拟机业务数据丢失是本领域有待解决的技术问题。
技术实现思路
[0004]有鉴于此，本专利技术的目的在于提供一种超大数据迁移方法、装置、设备、存储介质，能够实现超大数据迁移，解除磁盘数据大于2T不能正常迁移的限制，避免在线/离线迁移虚拟机业务数据丢失。其具体方案如下：
[0005]第一方面，本申请公开了一种超大数据迁移方法，包括：
[0006]获取数据迁移请求，并创建与源磁盘大小相同的目标磁盘；
[0007]若在通过数据读取函数从所述源磁盘中读取源数据的过程中，存在新数据写入所述源磁盘，则对所述源磁盘中用于保存数据的扇区进行查询，以获取保存所述新数据的目标扇区，并将所述目标扇区更改保存至预设文件目录中；
[0008]从所述预设文件目录中查询所述目标扇区，遍历读取所述目标扇区中的所述新数据，并将所述新数据压缩写入所述目标磁盘。
[0009]可选的，所述获取数据迁移请求，并创建与源磁盘大小相同的目标磁盘之后，还包括：
[0010]若在通过数据读取函数从所述源磁盘中读取源数据的过程中，不存在新数据写入所述源磁盘，则将获取的所述源数据压缩写入至所述目标磁盘。
[0011]可选的，所述若在通过数据读取函数从所述源磁盘中读取源数据的过程中，存在
新数据写入所述源磁盘之后，还包括：
[0012]对当前状态的源磁盘的进行打快照处理，以获取所述源磁盘的当前快照信息。
[0013]可选的，所述从所述预设文件目录中查询所述目标扇区，遍历读取所述目标扇区中的所述新数据，并将所述新数据压缩写入所述目标磁盘，包括：
[0014]基于预设读指令以及扇区数目从所有扇区中确定出所述目标扇区并遍历读取所述新数据；
[0015]设置写入数据的偏移量，基于所述偏移量将所述新数据写入所述目标磁盘。
[0016]可选的，所述将所述新数据压缩写入所述目标磁盘，包括：
[0017]将所述新数据按照预设压缩方式进行压缩，以得到压缩后的新数据；
[0018]将所述压缩后的新数据进行加密传输至所述目标磁盘。
[0019]可选的，所述将所述压缩后的新数据进行加密传输至所述目标磁盘过程中，还包括：
[0020]对迁移任务进度进行计算，以获取剩余数据量和平均传输速度；
[0021]基于所述剩余数据量和所述平均传输速度计算数据传输的剩余迁移时间。
[0022]可选的，所述基于所述剩余数据量和所述平均传输速度计算数据传输的剩余迁移时间之后，还包括：
[0023]将包含有所述剩余迁移时间、所述剩余数据量和所述平均传输速度的数据上传信息推送至业务平台，以便用户端操纵鼠标悬停于位于所述业务平台的数据传输任务栏时显示所述数据上传信息。
[0024]第二方面，本申请公开了一种超大数据迁移装置，包括：
[0025]磁盘创建模块，用于获取数据迁移请求，并创建与源磁盘大小相同的目标磁盘；
[0026]新数据保存模块，用于若在通过数据读取函数从所述源磁盘中读取源数据的过程中，存在新数据写入所述源磁盘，则对所述源磁盘中用于保存数据的扇区进行查询，以获取保存所述新数据的目标扇区，并将所述目标扇区更改保存至预设文件目录中；
[0027]数据写入模块，用于从所述预设文件目录中查询所述目标扇区，遍历读取所述目标扇区中的所述新数据，并将所述新数据压缩写入所述目标磁盘。
[0028]第三方面，本申请公开了一种电子设备，包括：
[0029]存储器，用于保存计算机程序；
[0030]处理器，用于执行所述计算机程序，以实现前述公开的超大数据迁移方法的步骤。
[0031]第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的超大数据迁移方法的步骤。
[0032]可见，本申请公开了一种超大数据迁移方法，包括：获取数据迁移请求，并创建与源磁盘大小相同的目标磁盘；若在通过数据读取函数从所述源磁盘中读取源数据的过程中，存在新数据写入所述源磁盘，则对所述源磁盘中用于保存数据的扇区进行查询，以获取保存所述新数据的目标扇区，并将所述目标扇区更改保存至预设文件目录中；从所述预设文件目录中查询所述目标扇区，遍历读取所述目标扇区中的所述新数据，并将所述新数据压缩写入所述目标磁盘。由此可见，本申请通过摒弃Vmware提供的不完善SDK接口，借助C库的读取函数重新实现读写，实现离线迁移虚拟机业务数据，并使用独立文件记录数据改动扇区，并通过全局遍历实现在线有数据写入的迁移场景下数据不丢失，并解除使用Vmware
进行数据迁移过程中的大数据迁移量的限制，并重新实现压缩迁移接口提升传输效率。
附图说明
[0033]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0034]图1为本申请公开的一种超大数据迁移方法流程图；
[0035]图2为本申请公开的一种具体的超大数据迁移方法流程图；
[0036]图3为本申请公开的另一种具体的超大数据迁移方法流程图；
[0037]图4为本申请公开的一种具体的磁盘迁移方法流程图；
[0038]图5为本申请公开的一种超大数据迁移装置结构示意图；
[0039]图6为本申请公开的一种电子设备结构图。
具体实本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种超大数据迁移方法，其特征在于，包括：获取数据迁移请求，并创建与源磁盘大小相同的目标磁盘；若在通过数据读取函数从所述源磁盘中读取源数据的过程中，存在新数据写入所述源磁盘，则对所述源磁盘中用于保存数据的扇区进行查询，以获取保存所述新数据的目标扇区，并将所述目标扇区更改保存至预设文件目录中；从所述预设文件目录中查询所述目标扇区，遍历读取所述目标扇区中的所述新数据，并将所述新数据压缩写入所述目标磁盘。2.根据权利要求1所述的超大数据迁移方法，其特征在于，所述获取数据迁移请求，并创建与源磁盘大小相同的目标磁盘之后，还包括：若在通过数据读取函数从所述源磁盘中读取源数据的过程中，不存在新数据写入所述源磁盘，则将获取的所述源数据压缩写入至所述目标磁盘。3.根据权利要求1所述的超大数据迁移方法，其特征在于，所述若在通过数据读取函数从所述源磁盘中读取源数据的过程中，存在新数据写入所述源磁盘之后，还包括：对当前状态的源磁盘的进行打快照处理，以获取所述源磁盘的当前快照信息。4.根据权利要求1所述的超大数据迁移方法，其特征在于，所述从所述预设文件目录中查询所述目标扇区，遍历读取所述目标扇区中的所述新数据，并将所述新数据压缩写入所述目标磁盘，包括：基于预设读指令以及扇区数目从所有扇区中确定出所述目标扇区并遍历读取所述新数据；设置写入数据的偏移量，基于所述偏移量将所述新数据写入所述目标磁盘。5.根据权利要求1所述的超大数据迁移方法，其特征在于，所述将所述新数据压缩写入所述目标磁盘，包括：将所述新数据按照预设压缩方式进行压缩，以得到压缩后的新数据；将所述压缩后的新数据进行...
【专利技术属性】
技术研发人员：苏冉，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。