数据同步方法以及相关设备、装置制造方法及图纸

本申请公开了一种数据同步方法以及相关设备、装置，其中，数据同步方法包括：存储待同步数据集中每一待同步数据，并记录每一待同步数据的存储路径；其中，每一待同步数据对应于一个元数据，且待同步数据集预先经数据库服务器进行数据处理；将待同步数据集中元数据相同的待同步数据的存储路径组包为数据同步消息，以使数据节点基于解析数据同步消息所获取的存储路径，得到待同步数据并进行数据同步。上述方案，能够提高数据同步的效率。

【技术实现步骤摘要】
数据同步方法以及相关设备、装置
本申请涉及信息
，特别是涉及一种数据同步方法以及相关设备、装置。
技术介绍
在诸如公共安全系统等网络中，数据库服务器需要与各个数据节点实现数据同步，以便各个数据节点能够及时地根据同步后的数据实现预设功能。例如，在公共安全系统中，项目人员(如项目甲方或项目乙方)将已有的黑名单或红名单等数据批量导入至数据库服务器，各个数据节点在定时周期中检测到数据库服务器完成数据更新，并从数据库服务器中获取并本地同步至少部分数据，从而实现布防。然而，由于各个数据节点在定时周期中检测数据库服务器是否完成数据更新，故只能被动地与数据库服务器进行数据同步，同步的周期可能会和数据库服务器存在延迟，从而导致数据同步产生延迟，影响同步效率。有鉴于此，如何提高数据同步效率成为亟待解决的问题。
技术实现思路
本申请主要解决的技术问题是提供一种数据同步方法以及相关设备、装置，能够提高数据同步的效率。为了解决上述问题，本申请第一方面提供了一种数据同步方法，包括：存储待同步数据集中每一待同步数据，并记录每一待同步数据的存储路径；其中，每一待同步数据对应于一个元数据，且待同步数据集预先经数据库服务器进行数据处理；将待同步数据集中元数据相同的待同步数据的存储路径组包为数据同步消息，以使数据节点基于解析数据同步消息所获取的存储路径，得到待同步数据并进行数据同步。为了解决上述问题，本申请第二方面提供了一种数据同步方法，包括：获取数据同步消息，其中，数据同步消息包括待同步数据集中元数据相同的待同步数据的存储路径，待同步数据集为预先经数据库服务器处理的数据；解析数据同步消息，获取元数据相同的待同步数据的存储路径；基于获取的存储路径，获取元数据相同的待同步数据，并进行数据同步。为了解决上述问题，本申请第三方面提供了一种数据同步设备，包括存储器、处理器和通信电路，存储器和通信电路耦接于处理器，存储器、处理器和通信电路工作时可实现上述第一方面中的数据同步方法。为了解决上述问题，本申请第四方面提供了一种数据节点，包括存储器、处理器和通信电路，存储器和通信电路耦接于处理器，存储器、处理器和通信电路工作时可实现上述第二方面中的数据同步方法。为了解决上述问题，本申请第五方面提供了一种存储装置，存储有能够被处理器运行的程序指令，程序指令用于实现上述第一方面中的数据同步方法，或实现上述第二方面中的数据同步方法。上述方案，通过存储待同步数据集中每一待同步数据，并记录每一待同步数据的存储路径，且每一待同步数据对应于一个元数据，待同步数据集预先经数据库服务器进行数据处理，从而将待同步数据集中元数据相同的待同步数据的存储路径组包为数据同步消息，以使数据节点基于解析数据同步消息所获取的存储路径，得到待同步数据并进行数据同步，进而使数据同步消息与待同步数据分离，数据节点能够基于数据同步消息主动地获得待同步数据，能够减小数据库服务器完成数据更新与数据节点进行数据同步之间的延迟，提高数据同步效率。此外，由于数据节点基于解析获取到的存储路径主动获取待同步数据，而不再从数据库服务器中获取待同步数据，故此，能够使数据节点与数据库服务器之间解耦，能够有利于系统落地，以及后续扩展。附图说明图1是本申请数据同步方法一实施例的流程示意图；图2是数据同步系统一实施例的框架示意图；图3是消息队列一实施例的框架示意图；图4是本申请数据同步方法另一实施例的流程示意图；图5是本申请数据同步方法又一实施例的流程示意图；图6是数据同步装置一实施例的框架示意图；图7是数据同步装置另一实施例的框架示意图；图8是本申请数据同步设备一实施例的框架示意图；图9是本申请数据节点一实施例的框架示意图；图10是本申请存储装置一实施例的框架示意图。具体实施方式下面结合说明书附图，对本申请实施例的方案进行详细说明。以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。请参阅图1，图1是本申请数据同步方法一实施例的流程示意图。具体而言，可以包括如下步骤：步骤S11：存储待同步数据集中每一待同步数据，并记录每一待同步数据的存储路径。本实施例中，每一待同步数据对应于一个元数据，且待同步数据集预先经数据库服务器进行数据处理。元数据(Metadata)又称为中介数据、中继数据，本实施例中，元数据为描述待同步数据的数据(dataaboutdata)，主要用于描述待同步数据的属性信息。以待同步数据是监控布控数据为例，待同步数据的元数据可以是其所属的监控区域，例如，待同步数据01的元数据可以是“庭院监控画面”，待同步数据02的元数据可以是“廊道监控画面”，待同步数据03的元数据可以是“前门监控画面”，其他应用场景，可以以此类推，本实施例在此不再一一举例。请结合参阅图2，图2是数据同步系统一实施例的框架示意图。如图2所示，数据同步设备可以包括元数据模块、数据接入模块、消息队列和数据分发器，即上述元数据模块、数据接入模块、消息队列和数据分发器可以集成于同一设备中，此外，为了提高系统鲁棒性以及处理能力，上述元数据模块、数据接入模块、消息队列和数据分发器也可以是相互之间独立，且通信连接的设备，在此不做限定。用户在将待同步数据导入数据接入模块之后，由数据接入模块将数据发送至数据库服务器进行数据处理，并通过元数据模块获得待同步数据的元数据，从而使得待同步数据对应有一个元数据。进一步地，在数据库服务器处理完成待同步数据之后，可以由数据库服务器或数据接入模块将待同步数据存储至数据分发器，并记录待同步数据的存储路径。例如，当处于同步工作模式时，数据接入模块在将待同步数据导入到数据库服务器时，同时将待同步数据存储到数据分发器；或者当处于异步工作模式时，数据接入模块在将待同步数据导入到数据库服务器，且数据库服务器处理完成之后，数据库服务器再将待同步数据存储到数据分发器，具体可以根据实际场景而进行设置，在此不做限定。步骤S12：将待同步数据集中元数据相同的待同步数据的存储路径组包为数据同步消息，以使数据节点基于解析数据同步消息所获取的存储路径，得到待同步数据并进行数据同步。仍以待同步数据是监控布控数据为例，可以将元数据为“庭院监控画面”的所有待同步数据的存储路径组包为数据同步消息，将元数据为“廊道监控画面”的所有待同步消息的存储路径组包为数据同步消息，将元数据为“前门监控画面”的所有待同步消息的存储路径组包为数据同步消息，其他应用场景中，可以以此类推，本实施例在本文档来自技高网...

【技术保护点】
1.一种数据同步方法，其特征在于，包括：/n存储待同步数据集中每一所述待同步数据，并记录每一所述待同步数据的存储路径；其中，每一所述待同步数据对应于一个元数据，且所述待同步数据集预先经数据库服务器进行数据处理；/n将所述待同步数据集中所述元数据相同的待同步数据的存储路径组包为数据同步消息，以使数据节点基于解析所述数据同步消息所获取的存储路径，得到所述待同步数据并进行数据同步。/n

【技术特征摘要】
1.一种数据同步方法，其特征在于，包括：
存储待同步数据集中每一所述待同步数据，并记录每一所述待同步数据的存储路径；其中，每一所述待同步数据对应于一个元数据，且所述待同步数据集预先经数据库服务器进行数据处理；
将所述待同步数据集中所述元数据相同的待同步数据的存储路径组包为数据同步消息，以使数据节点基于解析所述数据同步消息所获取的存储路径，得到所述待同步数据并进行数据同步。


2.根据权利要求1所述的数据同步方法，其特征在于，所述存储待同步数据集中每一所述待同步数据，并记录每一所述待同步数据的存储路径之前，所述方法还包括：
将所述待同步数据集分为多个子数据集；
依次选取所述多个子数据集中的一个作为当前子数据集；
将所述当前子数据集发送至所述数据库服务器进行数据处理；
所述存储所述待同步数据集中每一所述待同步数据，并记录每一所述待同步数据的存储路径包括：
存储所述当前子数据集中每一所述待同步数据，并记录每一所述待同步数据的存储路径；
所述将所述待同步数据集中所述元数据相同的待同步数据的存储路径组包为数据同步消息包括：
将所述当前子数据集中所述元数据相同的待同步数据的存储路径组包为数据同步消息。


3.根据权利要求2所述的数据同步方法，其特征在于，所述将所述当前子数据集发送至所述数据库服务器进行数据处理包括：
将所述当前子数据集发送至数据库服务器进行数据处理，并获取所述当前子数据集中每一所述待同步数据的数据处理信息；
所述存储所述当前子数据集中每一所述待同步数据，并记录每一所述待同步数据的存储路径包括：
存储所述当前子数据集中每一所述待同步数据及其数据处理信息，并记录每一所述待同步数据及其数据处理信息的存储路径。


4.根据权利要求2所述的数据同步方法，其特征在于，所述将所述当前子数据集中所述元数据相同的待同步数据的存储路径组包为数据同步消息包括：
将所述当前子数据集中的待同步数据按照所述元数据进行分类；
将每一类中的待同步数据的存储路径组包为所述数据同步消息；
将所述数据同步消息存放至消息队列的目标分区中，其中，所述目标分区所属的主题与所述数据同步消息所对应的元数据一致，以使所述数据节点获取与其预先订阅的主题一致的数据同步消息。


5.根据权利要求1所述的数据同步方法，其特征在于，所述将所述待同步数据集中所述元数据相同的待同步数据的存储路径组包为数据同步消息之后，所述方法还包括：
将所述数据节点发送的数据版本查询请求转发至所述数据库服务器，并将所述数据库服务器发送的数据版本查询反馈转发至所述数据节点；
将所述数据节点发送的数据更新请求转发至所述数据库服务器，其中，所述数据更新请求是所述数据节点基于所述数据库服务器的当前数据版本与所述数据节点的本地数据版本不一致而发送的，所述当前数据版本是所述数据节点通过解析所述数据版本查询反馈而获得的；
获取所述数据库服务器基于所述数据更新请求而发送的待更新数据，以使所述数...

【专利技术属性】
技术研发人员：吕超，李海伟，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：浙江;33