本申请公开一种搜索数据同步方法及其装置、设备、介质、产品，所述方法包括：响应作用于业务数据库的搜索数据增量事件，获取多个增量搜索数据，并确定增量搜索数据所对应的电商独立站；统计所述电商独立站的增量数据流量，校验增量数据流量是否满足数据限流规则，若不满足，则将增量搜索数据推送至数据版本校验器中；当增量数据流量满足数据限流规则，则将增量搜索数据推送至限流推送器中，以驱动限流推送器基于限速推送规则限速推送增量搜索数据至数据版本校验器中；驱动数据版本校验器校验各增量搜索数据的数据版本，将数据版本较晚的增量搜索数据推送至电商搜索服务中。本申请可限制并发搜索数据的传输速度以提升数据同步服务的稳定性。服务的稳定性。服务的稳定性。
【技术实现步骤摘要】
搜索数据同步方法及其装置、设备、介质、产品
[0001]本申请涉及网络电商领域，尤其涉及一种搜索数据同步方法，此外还涉及该方法相应的装置、设备、非易失性存储介质以及计算机程序产品。
技术介绍
[0002]现有的网络电商独立站平台会向其平台中的电商独立站提供搜索服务，以便进入电商独立站进行电商购物的买家用户可通过搜索服务在电商独立站搜索对应的商品或订单信息，且网络电商独立站平台向平台中大部分的电商独立站所提供的搜索服务为共用的搜索服务，即平台中各电商独立站共同使用同一服务器集群所维护的搜索服务，以便于平台对搜索服务进行维护。
[0003]当任一电商独立站上架新的商品或产生新的订单后，将向对应的业务数据库存储商品数据信息或订单数据信息，以便平台将数据同步至搜索服务中，供买家用户通过搜索服务查询新上架的商品或进行网购所对应订单信息，但当电商独立站上架大量的商品或产生大量的订单时，并发的巨量数据对于数据同步服务而言负担较大，易造成数据同步服务发生崩溃，导致买家用户无法通过搜索系统查询新上架的商品或其订单信息，且因搜索服务为共用服务，数据同步服务的崩溃，也将影响网络电商独立站平台中其他的电商独立站。
[0004]鉴于现有的作用于搜索服务面的数据同步服务处理并发数据所存在的问题，本申请人出于解决该问题的考虑做出相应的探索。
技术实现思路
[0005]本申请的目的在于满足用户需求而提供一种搜索数据同步方法，此外还涉及该方法相应的装置、设备、非易失性存储介质以及计算机程序产品。
[0006]为实现本申请的目的，采用如下技术方案：
[0007]适应本申请的目的而提出的一种搜索数据同步方法，包括如下步骤：
[0008]响应作用于业务数据库的搜索数据增量事件，获取该搜索数据增量事件所对应的多个增量搜索数据，并确定该些增量搜索数据所对应的电商独立站；
[0009]统计所述电商独立站的增量数据流量，校验该增量数据流量是否满足预设的数据限流规则，若不满足，则将各所述增量搜索数据推送至数据版本校验器中；
[0010]当所述增量数据流量满足所述数据限流规则，则将各所述增量搜索数据推送至限流推送器中，以驱动该限流推送器基于限速推送规则限速推送各所述增量搜索数据至所述数据版本校验器中；
[0011]驱动所述数据版本校验器校验各增量搜索数据的数据版本，将数据版本较晚的增量搜索数据推送至电商搜索服务中。
[0012]进一步的实施例中，响应作用于业务数据库的搜索数据增量事件，获取该搜索数据增量事件所对应的多个增量搜索数据，并确定该些增量搜索数据所对应的电商独立站的步骤中，包括如下步骤：
[0013]响应所述搜索数据增量事件，获取该搜索数据增量事件所对应的数据操作日志；
[0014]根据所述数据操作日志中包含的多个业务数据标识，从所述业务数据库中获取该些业务数据标识所对应的增量搜索数据；
[0015]确定所述数据操作日志所对应的电商独立站，并将各所述增量搜索数据推送至待消费数据队列。
[0016]进一步的实施例中，统计所述电商独立站的增量数据流量，校验该增量数据流量是否满足预设的数据限流规则或当所述增量数据流量满足所述数据限流规则，则将各所述增量搜索数据推送至限流推送器中的步骤中，包括如下步骤：
[0017]在预设的统计时间窗口内统计所述待消费数据队列中当前电商独立站所对应的增量搜索数据数量；
[0018]判断所述增量搜索数据数量是否超过预设的限流数据量，若未超过，则将所述待消费数据队列中当前电商独立站所对应的增量搜索数据推送至数据版本校验器；
[0019]当所述增量搜索数据数量超过预设的限流数据量时，在预设的限流时间窗口中将所述待消费数据队列中当前电商独立站所对应的增量搜索数据推送至限流推送器中。
[0020]进一步的实施例中，驱动该限流推送器基于限速推送规则限速推送各所述增量搜索数据至所述数据版本校验器中的步骤中，包括如下步骤：
[0021]将当前最新获取的增量搜索数据存储至限流数据队列的首位存储位置；
[0022]将所述限流数据队列中处于末尾存储位置的增量搜索数据推送至数据版本校验器；
[0023]以此类推，处理作用于所述限流数据队列的增量搜索数据的存储及推送，并根据预设的数据推送速度控制增量搜索数据的推送速度。
[0024]进一步的实施例中，驱动所述数据版本校验器校验各增量搜索数据的数据版本，将数据版本较晚的增量搜索数据推送至电商搜索服务中的步骤中，包括如下步骤：
[0025]确定最新获取的增量搜索数据的数据存储时间戳及数据特征信息，将数据存储时间戳、数据特征信息与所述增量搜索数据对应存储至版本校验缓存空间中，所述数据特征信息中包含电商独立站标识及数据属性标识；
[0026]查询出所述版本校验缓存空间中具有相同数据特征信息的多个目标增量搜索数据，比较该些目标增量搜索数据各自的数据存储时间戳；
[0027]将所述数据存储时间戳较晚的目标增量搜索数据推送至电商搜索服务中，并其他目标增量搜索数据从所述版本校验缓存空间中移除。
[0028]进一步的实施例中，本方法包括如下后置步骤：
[0029]响应所述搜索数据增量事件，获取该搜索数据增量事件所对应的数据操作日志；
[0030]根据所述数据操作日志中包含的多个业务数据标识，从所述业务数据库中获取该些业务数据标识所对应的增量搜索数据；
[0031]确定所述数据操作日志所对应的电商独立站，当该电商独立站为限流处理电商独立站时，将各所述增量搜索数据推送至所述限流推送器中。
[0032]适应本申请的目的而提出的一种搜索数据同步装置，其包括：
[0033]增量数据获取模块，用于响应作用于业务数据库的搜索数据增量事件，获取该搜索数据增量事件所对应的多个增量搜索数据，并确定该些增量搜索数据所对应的电商独立
站；
[0034]数据流量校验模块，用于统计所述电商独立站的增量数据流量，校验该增量数据流量是否满足预设的数据限流规则，若不满足，则将各所述增量搜索数据推送至数据版本校验器中；
[0035]数据限流推送模块，用于当所述增量数据流量满足所述数据限流规则，则将各所述增量搜索数据推送至限流推送器中，以驱动该限流推送器基于限速推送规则限速推送各所述增量搜索数据至所述数据版本校验器中；
[0036]数据版本校验模块，用于驱动所述数据版本校验器校验各增量搜索数据的数据版本，将数据版本较晚的增量搜索数据推送至电商搜索服务中。
[0037]进一步的实施例中，所述增量数据获取模块包括：
[0038]操作日志获取子模块，用于响应所述搜索数据增量事件，获取该搜索数据增量事件所对应的数据操作日志；
[0039]业务数据获取子模块，用于根据所述数据操作日志中包含的多个业务数据标识，从所述业务数据库中获取该些业务数据标识所对应的增量搜索数据；
[0040]增量数据存储本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种搜索数据同步方法，其特征在于，包括如下步骤：响应作用于业务数据库的搜索数据增量事件，获取该搜索数据增量事件所对应的多个增量搜索数据，并确定该些增量搜索数据所对应的电商独立站；统计所述电商独立站的增量数据流量，校验该增量数据流量是否满足预设的数据限流规则，若不满足，则将各所述增量搜索数据推送至数据版本校验器中；当所述增量数据流量满足所述数据限流规则，则将各所述增量搜索数据推送至限流推送器中，以驱动该限流推送器基于限速推送规则限速推送各所述增量搜索数据至所述数据版本校验器中；驱动所述数据版本校验器校验各增量搜索数据的数据版本，将数据版本较晚的增量搜索数据推送至电商搜索服务中。2.根据权利要求1所述的方法，其特征在于，响应作用于业务数据库的搜索数据增量事件，获取该搜索数据增量事件所对应的多个增量搜索数据，并确定该些增量搜索数据所对应的电商独立站的步骤中，包括如下步骤：响应所述搜索数据增量事件，获取该搜索数据增量事件所对应的数据操作日志；根据所述数据操作日志中包含的多个业务数据标识，从所述业务数据库中获取该些业务数据标识所对应的增量搜索数据；确定所述数据操作日志所对应的电商独立站，并将各所述增量搜索数据推送至待消费数据队列。3.根据权利要求2所述的方法，其特征在于，统计所述电商独立站的增量数据流量，校验该增量数据流量是否满足预设的数据限流规则或当所述增量数据流量满足所述数据限流规则，则将各所述增量搜索数据推送至限流推送器中的步骤中，包括如下步骤：在预设的统计时间窗口内统计所述待消费数据队列中当前电商独立站所对应的增量搜索数据数量；判断所述增量搜索数据数量是否超过预设的限流数据量，若未超过，则将所述待消费数据队列中当前电商独立站所对应的增量搜索数据推送至数据版本校验器；当所述增量搜索数据数量超过预设的限流数据量时，在预设的限流时间窗口中将所述待消费数据队列中当前电商独立站所对应的增量搜索数据推送至限流推送器中。4.根据权利要求1所述的方法，其特征在于，驱动该限流推送器基于限速推送规则限速推送各所述增量搜索数据至所述数据版本校验器中的步骤中，包括如下步骤：将当前最新获取的增量搜索数据存储至限流数据队列的首位存储位置；将所述限流数据队列中处于末尾存储位置的增量搜索数据推送至数据版本校验器；以此类推，处理作用于所述限流数据队列的增量搜索数据的存储及推送，并根据预设的数据推送速度控制增量搜索数据的推送速度。5.根据权利要求1所述的方法，其特征在于，驱...
【专利技术属性】
技术研发人员：方俊炜，蔡云雷，连松洲，
申请(专利权)人：广州欢聚时代信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。