【技术实现步骤摘要】
本专利技术涉及文件迁移，尤其涉及一种基于代理迁移机制的文件核查与修复方法。
技术介绍
1、当前技术背景下，随着云计算与大数据等技术的迅速发展以及数据量和存储需求的增长，文件迁移技术的广泛应用促进着数字化转型和信息技术革新，成为推动各行业创新发展的关键之一。企业可能需要大量将文件数据从本地存储迁移到云平台或新的数据中心，这使得文件迁移的需求日益迫切。
2、文件迁移是将文件从一个位置转移到另一个位置的过程。在此过程中，还必须考虑数据完整性、迁移速度和资源占用等因素，这使得“文件数据核查”和“文件数据修复”成为确保数据质量的重要步骤。
3、文件数据核查用于验证数据的准确性、完整性和一致性，以避免错误、丢失或不一致的情况。文件数据修复则是预防数据丢失和损坏的关键措施，有助于维护数据的完整性和可靠性。在实际的生产环境下，用户可以通过文件数据核查及时发现和解决潜在问题，保障迁移后数据质量，之后通过文件数据修复确保迁移过程中数据的准确性和完整性，降低数据丢失和损坏风险。
4、传统的文件复制方式仅能简单传输数据，无法实时核查和修复数据，导致迁移过程耗时且费力。因此，现代通常使用专门的文件迁移工具。虽然某些迁移工具支持核查和修复功能，但仍然存在一些需要解决的问题。(1)首先，检索效率过低：部分工具虽然提供了核查和修复功能，但它们在数据检索效率方面仍有提升空间。由于数据量庞大或者复杂性高，传统工具往往无法实现高效的数据核查和迅速的差错定位，导致执行效率不够理想。(2)其次，协同计算困难：现有文件迁移工具在利用主机
技术实现思路
1、本专利技术的目的在于提供一种基于代理迁移机制的文件核查与修复方法，旨在克服当前文件迁移技术存在的检索效率不高、主机算力利用率不足和资源消耗过大等挑战，实现高效、稳定的文件迁移过程。
2、本专利技术采用的技术方案是：
3、一种基于代理迁移机制的文件核查与修复方法，其包括以下步骤：
4、步骤1，源端数据机对所有文件进行全量遍历后进行全量文件传输，
5、步骤2，将文件从源位置传输到目标位置，传输过程中实时记录文件的增量信息，以便在全量传输完成后持续同步实时记录的增量数据；
6、步骤3，判断用户是否在文件传输过程中选择停止增量传输；如果是，则停止增量的主机即进入“待迁移割接”状态；否则，执行步骤5；
7、步骤4，判断用户是否选择进行文件传输的核查和修复；如果是，则执行步骤5；否则，执行步骤6；
8、步骤5，主机通过快速文件比对进行实时差异化信息核查，并基于差异化信息进行切片修复流程，以重新传输丢失或损坏的文件；这个步骤可以确保目标位置的文件与源位置的文件一致性，包括确认所有文件都已成功传输并进行必要的纠正操作，例如重新传输丢失或损坏的文件。
9、步骤6，等待全量文件传输结束，并同步实时记录的增量数据后完成文件迁移。
10、进一步地，步骤1中全量遍历时记录文件的元数据信息，元数据信息包括文件大小和路径。
11、进一步地，步骤5中主机开始核查修复时，通过迁移客户端下达对比指令，源端数据机与目标端数据机将协同进行快速文件比对，通过文件比对生成详细的差异列表；当本次文件比对存在差异值时，则进行对应差异列表的修复操作。
12、进一步地，步骤5具体包括以下步骤：
13、步骤5-1，主机开始核查修复，通过迁移客户端下达对比指令；
14、步骤5-2，源端数据机与目标端数据机将协同进行快速文件比对，生成详细的差异列表；
15、步骤5-3，基于差异列表判断是否存在差异化信息；如果是，则进行对应差异列表的修复操作后执行步骤5-4；否则，执行步骤5-4；
16、步骤5-4，手动重新核查修复是否成功；如果是，则完成修复；否则，执行步骤5-1。
17、进一步地，步骤5中快速文件比对具体包括以下步骤：
18、步骤5-11，快速文件比对操作启动时，源端数据机首先根据预设的排序规则生成对比顺序列表；
19、步骤5-12，源端数据机发送带有对比顺序列表的命令至目标端数据机进行同步运算；
20、步骤5-13，基于源端数据机和目标端数据机的性能计算得并选取最佳数据抽取步进值；目的是为了平衡比对的速度和准确性。步进值越小，比对过程中抽取的信息就越密集，相应的比对速度可能会降低；步进值越大，则比对速度会提高，但可能会遗漏一些细微的差异。
21、步骤5-14，基于最佳数据抽取步进值，按照对比顺序列表中的顺序逐个遍历待比对的文件，并对文件内容进行散列运算将文件内容转换成固定长度的唯一散列值；
22、步骤5-15，比较源端数据机和目标端数据机对应文件的散列值；如果散列值不同，则判定对应文件内容存在差异，系统记录下对应差异化信息。
23、进一步地，步骤5-13中最佳数据抽取步进值选取具体包括以下步骤：
24、步骤5-13-1，初始化步进基准值，设为数据总量除以1024；
25、步骤5-13-2，当前步进值设置为2/3的基准值；
26、步骤5-13-3，基于当前步进值模拟生成散列值，并计算主机cpu和内存占用量；
27、步骤5-13-4，判断cpu和内存占用量是否小于或等于预计分配量的5％；如果是，则将步进值设置为当前值的2/3，并重新计算资源占用量；否则，将步进值设为当前值的3/2，并输出最佳步进值。
28、进一步地，步骤5-14中抽取散列计算的步骤如下：
29、步骤5-14-1，构造全零序列，即将所有数据设置为零值；
30、步骤5-14-2，获取基于最佳数据抽取步进值从源文件或数据库中提取的数据内容；
31、步骤5-14-3，将提取的数据内容进行数据样本抽取后得到样本抽取结果；
32、具体地，数据样本抽取是在计算机文件中从文件中随机或有选择性地选择一部分数据记录或数据行，以代表整个文件的过程，可以帮助分析师更快地了解数据集的特征。通过数据样本抽取，可以有效处理大规模数据，提高数据处理效率，同时确保分析结果的准确性和可靠性。数据样本抽取的具体步骤为：
33、s01，设置数据样本抽取的字符间距，即设置最佳步进；
34、s02，遍历提取的数据内容，每隔字符间距抽取一个比特位(1byte)；
35、s03，判断是否遍历至文件末尾；如果是，合并抽取的数据值得到抽取结果。
36、数据样本抽取中需要通过合并数据达本文档来自技高网...
【技术保护点】
1.一种基于代理迁移机制的文件核查与修复方法，其特征在于：其包括以下步骤：
2.根据权利要求1所述的一种基于代理迁移机制的文件核查与修复方法，其特征在于：步骤1中全量遍历时记录文件的元数据信息，元数据信息包括文件大小和路径。
3.根据权利要求1所述的一种基于代理迁移机制的文件核查与修复方法，其特征在于：步骤5中主机开始核查修复时，通过迁移客户端下达对比指令，源端数据机与目标端数据机将协同进行快速文件比对，通过文件比对生成详细的差异列表；当本次文件比对存在差异值时，则进行对应差异列表的修复操作。
4.根据权利要求1所述的一种基于代理迁移机制的文件核查与修复方法，其特征在于：步骤5具体包括以下步骤：
5.根据权利要求1所述的一种基于代理迁移机制的文件核查与修复方法，其特征在于：步骤5中快速文件比对具体包括以下步骤：
6.根据权利要求5所述的一种基于代理迁移机制的文件核查与修复方法，其特征在于：步骤5-13中最佳数据抽取步进值选取具体包括以下步骤：
7.根据权利要求5所述的一种基于代理迁移机制的文件核查与修复方法，
8.根据权利要求7所述的一种基于代理迁移机制的文件核查与修复方法，其特征在于：步骤5-14-3中数据样本抽取的具体步骤为：
9.根据权利要求1所述的一种基于代理迁移机制的文件核查与修复方法，其特征在于：步骤5中切片修复流程具体包括以下步骤：
...【技术特征摘要】
1.一种基于代理迁移机制的文件核查与修复方法，其特征在于：其包括以下步骤：
2.根据权利要求1所述的一种基于代理迁移机制的文件核查与修复方法，其特征在于：步骤1中全量遍历时记录文件的元数据信息，元数据信息包括文件大小和路径。
3.根据权利要求1所述的一种基于代理迁移机制的文件核查与修复方法，其特征在于：步骤5中主机开始核查修复时，通过迁移客户端下达对比指令，源端数据机与目标端数据机将协同进行快速文件比对，通过文件比对生成详细的差异列表；当本次文件比对存在差异值时，则进行对应差异列表的修复操作。
4.根据权利要求1所述的一种基于代理迁移机制的文件核查与修复方法，其特征在于：步骤5具体包括以下步骤：
5....
【专利技术属性】
技术研发人员：黄锦堃，林友增，李瑞雄，陈鹏，周德劼，
申请(专利权)人：中电福富信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。