一种数据处理方法及同步设备技术

本发明专利技术实施例公开了一种数据处理方法及同步设备，用于不同的数据库之间同步数据时节约时间成本。本发明专利技术实施例方法包括：同步设备对第一数据库中的数据进行监控；当第一数据库的数据发生更新后，再获取第一表格中第一主键所在列中的键值和第二数据库中第二主键对应的属性数据，其中第一表格为包含于第一数据库中的二维表，第二数据库的数值与更新前的第一数据库的数值相同，第一主键包括时间戳或自增长序列号，第二主键与第一主键对应；同步设备根据第一主键所在列中的键值和第二主键对应的属性数据确定更新的数据后，将更新的数据导入第二数据库。本发明专利技术实施例还提供了一种同步设备，能够使不同的数据库之间同步数据时节约时间成本。

【技术实现步骤摘要】
一种数据处理方法及同步设备
本专利技术涉及计算机领域，尤其涉及一种数据处理方法及同步设备。
技术介绍
目前对数据的存储，一般都采用关系型数据库，关系型数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库里，这样就增加了速度并提高了灵活性。然而，随着业务发展，一方面为了适应新业务而采用非关系型数据库作为存储和管理数据的工具，另一方面为了兼容旧有系统而必须采用关系型数据库。同时，在从传统的关系型数据库到非关系型数据库同步数据的过程中，会遇到关系型数据库存在修改的情况，然而非关系型数据库不允许对于已有的数据库进行修改，而导致非关系型数据库增量数据重复的问题。现有技术中，为避免数据库增量数据重复，在每次更新数据时，将非关系型数据库的数据全部清空掉，然后全部重新从关系型数据库加载进来。然而，现有技术中，由于数据动辄百万，千万甚至亿级计算，如果每次更新数据都需要全部加载，而实际上只有少量的数据进行更新，全部重现加载则会对于大部分以前的没有变化的数据重导，耗费了极大的时间资源。
技术实现思路
本专利技术实施例提供了一种数据处理方法及同步设备，用于在关系型数据库向非关系数据库同步数据时节约时间成本。本专利技术实施例一方面提供了一种数据处理方法，具体包括：同步设备对第一数据库中的数据进行监控；当所述第一数据库的数据发生更新后，所述同步设备获取第一表格中第一主键所在列中的键值和第二数据库中第二主键对应的属性数据，所述第一表格为包含于所述第一数据库中的二维表，所述第二数据库的数值与更新前的所述第一数据库的数值相同，所述第一主键包括时间戳或自增长序列号，所述第二主键与所述第一主键对应；所述同步设备根据所述第一主键所在列中的键值和所述第二主键对应的属性数据确定更新的数据；所述同步设备将所述更新的数据导入所述第二数据库。本专利技术实施例另一方面提供了一种同步设备，具体包括：监控单元，用于对第一数据库中的数据进行监控；获取单元，当所述第一数据库的数据发生更新后，用于获取第一表格中第一主键所在列中的键值和第二数据库中第二主键对应的属性数据，所述第一表格为包含于所述第一数据库中的二维表，所述第二数据库的数值与更新前的所述第一数据库的数值相同，所述第一主键包括时间戳或自增长序列号，所述第二主键与所述第一主键对应；第一确定单元，根据所述第一主键所在列中的键值和所述第二主键对应的属性数据确定更新的数据；导入单元，用于将所述更新的数据导入所述第二数据库。从以上技术方案可以看出，本专利技术实施例具有以下优点：同步设备对第一数据库中的数据进行监控；当第一数据库的数据发生更新后，同步设备获取第一表格中第一主键所在列中的键值和第二数据库中第二主键对应的属性数据，其中第一表格为包含于第一数据库中的二维表，第二数据库的数值与更新前的第一数据库的数值相同，第一主键包括时间戳或自增长序列号，第二主键与第一主键对应；同步设备根据第一主键所在列中的键值和第二主键对应的属性数据确定更新的数据；同步设备再将更新的数据导入第二数据库。本专利技术实施例中，同步设备确定了更新的数据，并将其导入第二数据库中，节省了时间成本。附图说明图1为本专利技术实施例中数据处理方法一个实施例示意图；图2为本专利技术实施例中数据处理方法另一实施例示意图；图3为专利技术实施例中同步设备一个实施例示意图；图4为本专利技术实施例中同步设备另一实施例示意图；图5为本专利技术实施例中同步设备另一实施例示意图。具体实施方式本专利技术实施例提供了一种数据处理方法及同步设备，用于在关系型数据库向非关系数据库同步数据时节约时间成本。为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。本专利技术实施例适用于关系型数据库向非关系型数据库同步数据，其中关系型数据库是指采用了关系模型来组织数据的数据库，关系模型指二维表格模型，即关系型数据库就是由二维表及其之间的联系所组成的一个数据组织，通过外键关联来建立表与表之间的关系。非关系型数据库是一种数据结构化存储方法的集合，通常指数据以对象的形式存储在数据库中，而对象之间的关系通过每个对象自身的属性来决定。关系型数据库与非关系型数据库的对比如表1所示。表1当关系型数据库将数据同步至非关系型数据库时，关系型数据库可以更改，然而非关系型数据库不允许对于已有数据进行更改。现有技术中，关系型数据库更改数据时，将非关系型数据库的数据全部清空掉，然后全部重新从关系型数据库加载进来，若只有少量的数据有更新时，全部加载相当于将大部分数据进行重导，导致时间成本极高。有鉴于此，本专利技术实施例中，当第一数据库发生更新后，同步设备确定更新的数据，并将更新的数据导入第二数据库。其中第一数据库为关系型数据库，第二数据库为非关系型数据库，第二数据库的数值与更新前的第一数据库的数值相同。为便于理解，下面对本专利技术实施例中的具体流程进行描述，请参阅图1，本专利技术实施例中数据处理方法一个实施例包括：101、同步设备对第一数据库中的数据进行监控；该同步设备适用于第一数据库和第二数据库同步数据，其中，在本专利技术实施例中，第一数据库为关系型数据库，第二数据库为非关系型数据库，在第一数据库未进行更新前，第一数据库中的数值与第二数据库中的数值相同。同步设备对第一数据库中的数据进行监控，以实时得知第一数据库中的数据是否发生变化。102、同步设备获取第一表格中第一主键所在列中的键值和第二数据库中第二主键对应的属性数据；当同步设备监控第一数据时，监控到第一数据库中的数据发生更新后，同步设备获取第一表格中第一主键所在列中的键值，以及第二数据库中第二主键对应的属性数据，其中第一表格是包含于第一数据库中的二维表，第二数据库的数值与发生更新前的第一数据库的数值相同，且第一主键包括时间戳或自增长序列号，即第一主键的键值随着时间推移而增长，很显然，第二主键与该第一主键对应，即当第一主键代表时间戳时，第二主键也代表时间戳。103、同步设备根据第一主键所在列中的键值和第二主键对应的属性数据确定更新的数据；同步设备得到第一表格中第一主键所在列中的键值和第二数据库中第二主键对应的属性数据后，根据该第一主键所在列中的键值和第二主键对应的属性数据确定更新的数据，其中数据的更新包括，将第一数据库中的原有的数据进行修改和在第一数据中插入新数据，即同步设备确定哪些数据是修改后的数据以及新插入的数据。104、同步设备将更新的数据导入第二数据库。本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，包括：同步设备对第一数据库中的数据进行监控；当所述第一数据库的数据发生更新后，所述同步设备获取第一表格中第一主键所在列中的键值和第二数据库中第二主键对应的属性数据，所述第一表格为包含于所述第一数据库中的二维表，所述第二数据库的数值与更新前的所述第一数据库的数值相同，所述第一主键包括时间戳或自增长序列号，所述第二主键与所述第一主键对应；所述同步设备根据所述第一主键所在列中的键值和所述第二主键对应的属性数据确定更新的数据；所述同步设备将所述更新的数据导入所述第二数据库。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：同步设备对第一数据库中的数据进行监控；当所述第一数据库的数据发生更新后，所述同步设备获取第一表格中第一主键所在列中的键值和第二数据库中第二主键对应的属性数据，所述第一表格为包含于所述第一数据库中的二维表，所述第二数据库的数值与更新前的所述第一数据库的数值相同，所述第一主键包括时间戳或自增长序列号，所述第二主键与所述第一主键对应；所述同步设备根据所述第一主键所在列中的键值和所述第二主键对应的属性数据确定更新的数据；所述同步设备将所述更新的数据导入所述第二数据库。2.根据权利要求1所述的数据处理方法，其特征在于，所述同步设备根据所述第一主键所在列中的键值和所述第二主键对应的属性数据确定更新的数据包括：所述同步设备获取所述第二主键对应的属性数据中的最新键值，所述最新键值为所述第二主键对应的属性数据中最新的数据；所述同步设备判断是否存在第一键值大于所述最新键值，所述第一键值包含于所述第一主键所在列中的键值；若是，则所述同步设备确定所述第一键值所在行中的数据为所述更新的数据。3.根据权利要求1或2所述的数据处理方法，其特征在于，所述同步设备将所述更新的数据导入所述第二数据库后，所述方法还包括：所述同步设备根据所述更新的数据，确定所述第二数据库中的第一数据，所述第一数据为所述第一数据库发生更新时被修改的数据；所述同步设备将所述第一数据添加至第二表格，所述第二表格包含于所述第二数据库中。4.根据权利要求3所述的数据处理方法，其特征在于，所述同步设备根据所述更新的数据，确定所述第二数据库中的所述第一数据包括：所述同步设备确定在所述更新的数据中，目标维度对应的属性数据为目标维度数据，所述目标维度为所述第二数据库中的数据的属性，所述目标维度数据互不重复且唯一存在；所述同步设备根据所述最新键值确定已有数据，所述已有数据为所述第二数据库导入所述更新的数据之前的数据；所述同步设备判断所述已有数据中所述目标维度对应的属性数据，是否包括所述目标维度数据；若包括，则所述同步设备确定所述已有数据中的所述目标维度数据所对应的数据为所述第一数据。5.根据权利要求4所述的数据处理方法，其特征在于，所述同步设备将所述第一数据添加至第二表格之后，所述方法还包括：所述同步设备在所述第二数据库中将所述第二表格中的数据进行隐...

【专利技术属性】
技术研发人员：郭秦龙，
申请(专利权)人：北京国双科技有限公司，
类型：发明
国别省市：北京,11