一种基于旁路设计和流量控制的在线数据迁移方法技术

本发明专利技术提供的一种基于旁路设计和流量控制的在线数据迁移方法包括：旁路处理；在旁路处理后，如果出现数据一致性验证异常的情况，进行异常报警，并分析原因并修复解决；流量控制与切换，在升级过程中，对系统分三阶段进行切换；同步机制，针对数据清洗过程，以用户的维度进行全系统并发控制。解决了系统重构升级中采用离线数据迁移无法满足高频访问系统的用户使用需求，并且对于热数据的处理也不友好，如果在系统升级前因分析不足导致升级后数据异常的情况，数据修复会异常困难。数据修复会异常困难。数据修复会异常困难。

【技术实现步骤摘要】
一种基于旁路设计和流量控制的在线数据迁移方法


[0001]本专利技术涉及系统重构升级领域，尤其涉及一种基于旁路设计和流量控制的在线数据迁移方法。

技术介绍

[0002]为了应对系统未来的需求或者解决当前的系统瓶颈，往往需要对系统进行必要的架构重构或者升级；在此过程中常常会重构系统的领域模型及数据模型，这样就需要进行数据的清洗及迁移，来适配新的数据模型。
[0003]目前常见的系统重构升级往往以离线方式实现，先将原系统进行停机，再对数据进行一次性的清洗、迁移，然后启动新系统，并将全部流量切到新系统。
[0004]系统重构升级中采用离线数据迁移无法满足高频访问系统的用户使用需求，并且对于热数据的处理也不友好，此外，如果在系统升级前因分析不足导致升级后数据异常的情况，数据修复会异常困难。

技术实现思路

[0005]鉴于上述问题，提出了本专利技术以便提供克服上述问题或者至少部分地解决上述问题的一种基于旁路设计和流量控制的在线数据迁移方法。
[0006]根据本专利技术的一个方面，提供了一种基于旁路设计和流量控制的在线数据迁移方法，所述数据迁移方法包括：
[0007]旁路处理；
[0008]在旁路处理后，如果出现数据一致性验证异常的情况，进行异常报警，并分析原因并修复解决；
[0009]流量控制与切换，在升级过程中，对系统分三阶段进行切换；
[0010]同步机制，针对数据清洗过程，以用户的维度进行全系统并发控制。
[0011]可选的，所述旁路处理具体包括：将新系统以旁路的方式接入到原系统处理流程中，同步执行相关逻辑，并将原系统与新系统的结果数据保持一致。
[0012]可选的，所述对系统分三阶段进行切换具体包括：
[0013]第一阶段采用白名单方式，只有对白名单内的用户进行数据清洗迁移及系统切换；
[0014]第二阶段采用权重方式，对用户按照百分比进行数据清洗迁移及系统切换；
[0015]第三阶段采用全量方式，对剩余所有用户进行数据清洗迁移及系统切换。
[0016]可选的，所述数据迁移方法还包括：
[0017]依据请求中用户信息进行流量切换方式的匹配，如果匹配上，进行数据控制处理；如果未匹配上，继续调用原系统，进行原业务处理。
[0018]可选的，所述如果匹配上，进行数据控制处理具体包括：
[0019]以用户维度进行并发控制；
[0020]检查用户数据的清洗状态，若未清洗则对用户的数据按照预定规则进行数据清洗，清洗完成修改用户的数据清洗状态为已清洗；
[0021]以用户维度解除并发控制；
[0022]切换到新系统进行业务处理。
[0023]可选的，所述如果未匹配上，继续调用原系统，进行原业务处理具体包括：
[0024]继续调用原系统，在进行原业务处理的同时，开启异步任务进行旁路处理，调用新系统进行对应业务处理，在异步任务最后进行原系统与新系统数据一致性检查；
[0025]如果检查异常，则发送异常报警。
[0026]本专利技术提供的一种基于旁路设计和流量控制的在线数据迁移方法包括：旁路处理；在旁路处理后，如果出现数据一致性验证异常的情况，进行异常报警，并分析原因并修复解决；流量控制与切换，在升级过程中，对系统分三阶段进行切换；同步机制，针对数据清洗过程，以用户的维度进行全系统并发控制。解决了系统重构升级中采用离线数据迁移无法满足高频访问系统的用户使用需求，并且对于热数据的处理也不友好，如果在系统升级前因分析不足导致升级后数据异常的情况，数据修复会异常困难。
[0027]上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。
附图说明
[0028]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0029]图1为本专利技术实施例提供的一种基于旁路设计和流量控制的在线数据迁移方法的流程图。
具体实施方式
[0030]下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0031]本专利技术的说明书实施例和权利要求书及附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。
[0032]下面结合附图和实施例，对本专利技术的技术方案做进一步的详细描述。
[0033]如图1所示，一种基于旁路设计和流量控制的在线数据迁移实现方法包括：
[0034]旁路处理，将新系统以旁路的方式接入到原系统处理流程中，同步执行相关逻辑，并对比原系统与新系统的结果数据，确保数据的一致性。
[0035]异常报警，在旁路处理后，若出现数据一致性验证异常的情况，应进行异常报警，并分析原因并修复解决。
[0036]流量控制与切换，在升级过程中，对系统分三阶段进行切换，第一阶段采用白名单方式，只有对白名单内的用户进行数据清洗迁移及系统切换；第二阶段采用权重方式(算法hash(user_id)％10＝0)，对用户按照百分比进行数据清洗迁移及系统切换；第三阶段采用全量方式，对剩余所有用户进行数据清洗迁移及系统切换。
[0037]同步机制，针对数据清洗过程，以用户的维度进行全系统并发控制，确保数据清洗过程不会发生数据变更。
[0038]一种基于旁路设计和流量控制的在线数据迁移实现方法，包括以下步骤：
[0039]依据请求中用户信息进行流量切换方式的匹配；
[0040]1)如果匹配上；
[0041]以用户维度进行并发控制；
[0042]检查用户数据的清洗状态，若未清洗则对用户的数据按照预定规则进行数据清洗，清洗完成修改用户的数据清洗状态为已清洗；
[0043]以用户维度解除并发控制；
[0044]切换到新系统进行业务处理；
[0045]2)如果未匹配上；
[0046]继续调用原系统，在进行原业务处理的同时，开启异步任务进行旁路处理，即调用新系统进行对应业务处理，在异步任务最后进行原系统与新系统数据一致性检查；
[0047]如果检查异常，则发送异常报警。
[0048]有益效果：解决了系统重构升级中采用离线数据迁移无法满足高频访问系统的用户使用需求，并且对于热数据的处理也不友好，如果在系统升级前因分析不足导致升级后数据异常的情况，数据修复会异常困难。
[0049]以上的具体实施方式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于旁路设计和流量控制的在线数据迁移方法，其特征在于，所述数据迁移方法包括：旁路处理；在旁路处理后，如果出现数据一致性验证异常的情况，进行异常报警，并分析原因并修复解决；流量控制与切换，在升级过程中，对系统分三阶段进行切换；同步机制，针对数据清洗过程，以用户的维度进行全系统并发控制。2.根据权利要求1所述的一种基于旁路设计和流量控制的在线数据迁移方法，其特征在于，所述旁路处理具体包括：将新系统以旁路的方式接入到原系统处理流程中，同步执行相关逻辑，并将原系统与新系统的结果数据保持一致。3.根据权利要求1所述的一种基于旁路设计和流量控制的在线数据迁移方法，其特征在于，所述对系统分三阶段进行切换具体包括：第一阶段采用白名单方式，只有对白名单内的用户进行数据清洗迁移及系统切换；第二阶段采用权重方式，对用户按照百分比进行数据清洗迁移及系统切换；第三阶段采用全量方式，对剩余所有用户进行数据清洗迁移及系统切换。4.根据权利要求1所述...

【专利技术属性】
技术研发人员：杨书华，
申请(专利权)人：北银金融科技有限责任公司，
类型：发明
国别省市：