一种实时索引数据同步的系统及其实现方法技术方案

本发明专利技术公开了一种实时索引数据同步的系统及其实现方法，属于计算机软件应用领域，本发明专利技术要解决的技术问题为如何能够把相关的仓库索引数据同步到结构化数据库中，并保证在一定程度范围时间内的数据实时同时，提高索引性能和索引效率，采用的技术方案为：（1）、一种实时索引数据同步的系统，该系统包括数据同步模块和数据处理模块。（2）、一种实时索引数据同步的实现方法，该方法包括如下步骤：（1）、数据同步模块轮询读取仓库的索引目录；（2）、数据同步模块将读取索引目录的数据同步到数据库中。

【技术实现步骤摘要】

本专利技术涉及计算机软件应用领域，具体地说是一种实时索引数据同步的系统及其实现方法。
技术介绍
随着云计算的不断发展，各种新技术以及新兴软件也在不断产生，仓库就被我们用来存储相关的源码、程序等资源，例如git仓库、docker仓库，maven仓库等等。由于仓库的数据是实时更新的，同时仓库数据一般都是仓库名然后对应其具体位置，而且只会提供所有的仓库索引而不会提供太多的接口。如果想查找仓库的某些特定数据，就只能先获取仓库的所有数据，然后进行遍历处理，最后才能得到我们想要的结果。这样不但会大大降低性能同时效率也会大大降低。
技术实现思路
本专利技术的技术任务是提供一种实时索引数据同步的系统及其实现方法，来解决如何能够把相关的仓库索引数据同步到结构化数据库中，并保证在一定程度范围时间内的数据实时同时，提高索引性能和索引效率的问题。本专利技术的技术任务是按以下方式实现的，一种实时索引数据同步的系统，该系统包括数据同步模块和数据处理模块；其中，数据同步模块用于从仓库的索引目录中轮询读取索引数据，并将索引数据保存到数据库中；数据处理模块用于接受客户端的业务请求，根据客户端的业务请求从数据库中读取数据，并将索引结果反馈给客户端。一种实时索引数据同步的实现方法，该方法包括如下步骤：（1）、数据同步模块轮询读取仓库的索引目录；（2）、数据同步模块将读取索引目录的数据同步到数据库中；（3）、数据库对索引目录中的每一条数据做时间标记，并记录第一条数据的时间FIRST_TIME，当更新完最后一条数据时，删除时间小于第一条数据时间标记FIRST_TIME的所有数据；（4）、客户端向数据处理模块发送业务请求，数据处理模块对数据库中的数据作相应的数据处理操作并将索引结果反馈给客户端；（5）、客户端获取到具体仓库地址，便可去仓库中获取资源。作为优选，所述步骤（1）中数据同步模块采用多批次多批量读取索引目录的数据。作为优选，所述步骤（2）中数据同步模块将索引目录的数据同步到数据库的过程中，查看索引目录中的每一条数据是否存在：①、若存在，则对数据进行更新；②、若不存在，则新增该条数据。本专利技术的实时索引数据同步的系统及其实现方法具有以下优点：1、本专利技术解决了数据的实时同步问题，通过多批次遍历数据源解决单次获取所有数据带来的性能问题，通过时间标记解决数据的一致性问题，同时保证了兼容性，在各种应用系统中使用简便、配置难度低，具有很好的推广使用价值；2、本专利技术在云计算场景下索引数据同步的实现方法，把相关的仓库索引目录的数据同步到结构化数据库当中，并保证在一定程度范围时间内的数据实时同步，这样大大节省了性能同时提高了效率；3、本专利技术实现了数据同步与数据处理相分离，在同步数据时轮询读取索引数据，采取多批次批量读取方式，确保了数据的实时同步，同时客户端仅仅与数据处理模块交互，操作简单易实现，而且大大提高了工作效率。故本专利技术具有设计合理、结构简单、使用方便、一物多用等特点，因而，具有很好的推广使用价值。附图说明下面结合附图对本专利技术进一步说明。附图1为实时索引数据同步系统框图。具体实施方式参照说明书附图和具体实施例对本专利技术的实时索引数据同步的系统及其实现方法作以下详细地说明。实施例1：如附图1所示，本专利技术的实时索引数据同步的系统及其实现方法,该系统包括数据同步模块和数据处理模块；其中，数据同步模块用于从仓库的索引目录中轮询读取索引数据，并将索引数据保存到数据库中；数据处理模块用于接受客户端的业务请求，根据客户端的业务请求从数据库中读取数据，并将索引结果反馈给客户端。实施例2：本专利技术的实时索引数据同步的实现方法，该方法包括如下步骤：（1）、数据同步模块轮询读取仓库的索引目录；数据同步模块采用多批次多批量读取索引目录的数据；（2）、数据同步模块将读取索引目录的数据同步到数据库中；数据同步模块将索引目录的数据同步到数据库的过程中，查看索引目录中的每一条数据是否存在：①、若存在，则对数据进行更新；②、若不存在，则新增该条数据；（3）、数据库对索引目录中的每一条数据做时间标记，并记录第一条数据的时间FIRST_TIME，当更新完最后一条数据时，删除时间小于第一条数据时间标记FIRST_TIME的所有数据；（4）、客户端向数据处理模块发送业务请求，数据处理模块对数据库中的数据作相应的数据处理操作并将索引结果反馈给客户端；（5）、客户端获取到具体仓库地址，便可去仓库中获取资源。通过上面具体实施方式，所述
的技术人员可容易的实现本专利技术。但是应当理解，本专利技术并不限于上述的两种具体实施方式。在公开的实施方式的基础上，所述
的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。除说明书所述的技术特征外，均为本专业技术人员的已知技术。本文档来自技高网...

【技术保护点】
一种实时索引数据同步的系统，其特征在于该系统包括数据同步模块和数据处理模块；其中，数据同步模块用于从仓库的索引目录中轮询读取索引数据，并将索引数据保存到数据库中；数据处理模块用于接受客户端的业务请求，根据客户端的业务请求从数据库中读取数据，并将索引结果反馈给客户端。

【技术特征摘要】
1.一种实时索引数据同步的系统，其特征在于该系统包括数据同步模块和数据处理模块；其中，数据同步模块用于从仓库的索引目录中轮询读取索引数据，并将索引数据保存到数据库中；数据处理模块用于接受客户端的业务请求，根据客户端的业务请求从数据库中读取数据，并将索引结果反馈给客户端。2.一种实时索引数据同步的实现方法，其特征在于该方法包括如下步骤：（1）、数据同步模块轮询读取仓库的索引目录；（2）、数据同步模块将读取索引目录的数据同步到数据库中；（3）、数据库对索引目录中的每一条数据做时间标记，并记录第一条数据的时间FIRST_TIME，当更新完最后一条数据时，删除时间小于第...

【专利技术属性】
技术研发人员：刘安，张烨，高传集，孙思清，张立勇，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：山东;37