商品数据同步方法与商品数据传输系统技术方案

本公开提供一种商品数据同步方法与商品数据传输系统。方法包括：响应商品数据变更消息，获取一或多个变更数据的种类与一或多个目标识别符；在变更数据的种类为第一种类时，在第一列表中更新目标识别符对应的更新次数，以及在达到周期同步时间点时，根据第一列表中记录的目标识别符触发同步动作；在变更数据的种类为第二种类时，根据目标识别符触发同步动作；其中，同步动作包括调用服务模块读取缓存模块以获取变更后数据，并根据变更后数据更新搜索数据库，第一种类对应的商品数据为预设时间段内更新次数大于等于预设值的数据，第二种类对应的商品数据为预设时间段内更新次数小于预设值的数据。本公开可以保障数据及时更新并降低系统压力。

【技术实现步骤摘要】
商品数据同步方法与商品数据传输系统
本公开涉及互联网
，具体而言，涉及一种商品数据同步方法与应用该商品数据同步方法的商品数据传输系统。
技术介绍
在互联网行业中，面向用户的商品系统，尤其是在分布式、微服务开发环境下的商品系统，为了提高搜索效率以及搜索数据的精准度，会使用ElasticSearch(译名：弹性搜索，简称ES)搜索服务为用户提供简要的、供搜索使用的商品信息，此时，如何及时将后台数据库中的商品信息的变更更新到前端面向用户的ES中，成为一个重要问题。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本公开的目的在于提供一种商品数据同步方法与商品数据传输系统，用于至少在一定程度上克服由于相关技术的限制和缺陷而导致的数据同步实时性不高或者执行效率低等问题。根据本公开实施例的第一方面，提供一种商品数据同步方法，包括：响应商品数据变更消息，获取一或多个变更数据的种类与一或多个目标识别符；在所述变更数据的种类为第一种类时，在第一列表中更新所述目标识别符对应的更新次数，以及在达到周期同步时间点时，根据所述第一列表中记录的目标识别符触发同步动作；在所述变更数据的种类为第二种类时，根据所述目标识别符触发所述同步动作；其中，所述同步动作包括调用服务模块读取缓存模块以获取变更后数据，并根据所述变更后数据更新搜索数据库，所述第一种类对应的数据为预设时间段内更新次数大于等于预设值的数据，所述第二种类对应的数据为预设时间段内更新次数小于所述预设值的数据。在本公开的一种示例性实施例中，所述根据所述第一列表中记录的目标识别符触发同步动作包括：在所述第一列表中获取当前对应更新次数最大的目标识别符；生成基于所述当前对应更新次数最大的目标识别符的商品数据同步请求并将所述商品数据同步请求发送至所述服务模块；获取所述服务模块返回的所述变更后数据，删除所述第一列表中所述当前对应更新次数最大的目标识别符及其更新次数。在本公开的一种示例性实施例中，所述根据所述变更后数据更新搜索数据库包括：将所述变更后数据中的第一商品数据更新到所述搜索数据库。在本公开的一种示例性实施例中，所述调用服务模块读取缓存模块以获取变更后数据包括：对所述服务模块发送包含所述目标识别符的商品数据同步请求，以使所述服务模块读取所述缓存模块；所述服务模块在所述缓存模块中查找到所述目标识别符对应的商品数据时，获取所述目标识别符对应的商品数据作为所述变更后数据；所述服务模块在所述缓存模块中未查找到所述目标识别符对应的商品数据时，在数据库中查找所述目标识别符对应的商品数据作为所述变更后数据，并将所述变更后数据与所述目标识别符对应写入所述缓存模块。在本公开的一种示例性实施例中，所述调用服务模块读取缓存模块以获取变更后数据包括：对所述服务模块发送包含所述目标识别符的商品数据同步请求，以使所述服务模块读取所述缓存模块；所述服务模块在所述缓存模块中查找到所述目标识别符对应的商品数据时，获取所述目标识别符对应的商品数据作为所述变更后数据；所述服务模块在所述缓存模块中未查找到所述目标识别符对应的商品数据时，在数据库中查找所述目标识别符对应的商品数据作为所述变更后数据，并将所述变更后数据与所述目标识别符对应写入所述缓存模块。根据本公开的第二方面，提供一种商品数据同步装置，包括：变更响应模块，设置为响应商品数据变更消息，获取一或多个变更数据的种类与一或多个目标识别符；动态数据同步模块，设置为在所述变更数据的种类为第一种类时，在第一列表中更新所述目标识别符对应的更新次数，以及在达到周期同步时间点时，根据所述第一列表中记录的目标识别符触发同步动作；静态数据同步模块，设置为在所述变更数据的种类为第二种类时，根据所述目标识别符触发所述同步动作；同步动作模块，设置为调用服务模块读取缓存模块以获取变更后数据，并根据所述变更后数据更新搜索数据库，所述第一种类对应的商品数据为预设时间段内更新次数大于等于预设值的数据，所述第二种类对应的商品数据为预设时间段内更新次数小于所述预设值的数据。根据本公开的第三方面，提供一种商品数据传输系统，包括：搜索引擎，用于响应用户操作生成商品数据搜索请求，并对用户展示与所述商品数据搜索请求对应的商品数据；搜索数据库，与所述搜索引擎连接，用于存储第一商品数据，以及响应所述商品数据搜索请求返回所述第一商品数据，所述第一商品数据为在预设时间段内的变更次数低于预设值的数据；缓存模块，用于存储所述第一商品数据和第二商品数据，所述第二商品数据为在预设时间段内的变更次数大于等于所述预设值的数据；数据库，与所述缓存模块连接，用于存储所述第一商品数据和所述第二商品数据，以及在发生数据变更时清空所述缓存模块中与变更数据的目标识别符对应的商品数据；数据同步模块，与所述搜索数据库和所述数据库连接，用于监听所述数据库的商品数据变更消息，以执行如上任一项所述的商品数据同步方法对所述搜索数据库同步数据；服务模块，连接所述搜索引擎、所述缓存模块、所述数据库、所述数据同步模块，用于响应来自所述搜索引擎的所述商品数据搜索请求或来自所述数据同步模块的商品数据同步请求读取所述缓存模块或所述数据库以返回商品数据。在本公开的一种示例性实施例中，所述服务模块设置为：响应来自所述搜索引擎的商品数据搜索请求，对所述缓存模块发送对应目标商品的识别符的商品数据读取请求；在所述缓存模块中存在所述目标商品的识别符对应的商品数据时，将所述目标商品的识别符对应的商品数据发送给所述搜索引擎；在所述缓存模块中不存在所述目标商品的识别符对应的商品数据时，对所述数据库发送对应所述目标商品的识别符的商品数据读取请求；从所述数据库获取所述目标商品的识别符对应的目标数据后，将所述目标数据发送给所述搜索引擎，并对所述缓存模块写入所述目标数据。在本公开的一种示例性实施例中，所述服务模块设置为：响应来自所述数据同步模块的商品数据同步请求，对所述缓存模块发送对应目标识别符的商品数据读取请求；在所述缓存模块中存在所述目标识别符对应的商品数据时，将所述目标识别符对应的商品数据发送给所述搜索引擎；在所述缓存模块中不存在所述目标识别符对应的商品数据时，对所述数据库发送对应所述目标识别符的商品数据读取请求；从所述数据库获取所述目标识别符对应的目标数据后，将所述目标数据发送给所述搜索引擎，并对所述缓存模块写入所述目标数据。根据本公开的第四方面，提供一种电子设备，包括：存储器；以及耦合到所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如上述任意一项所述的方法。根据本公开的第五方面，提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如上述任意一项所述的商品数据同步方法。本公开实施例通过根据商品数据种类确定同步策略，对更新频率低、较为重要的数据变更及时同步，对更新频率高、较为不重要的数据变更定时同步，可以避免热点数据的高频变化给系统运行带来的压力，同时及时保障本文档来自技高网...

【技术保护点】
1.一种商品数据同步方法，其特征在于，包括：/n响应商品数据变更消息，获取一或多个变更数据的种类与一或多个目标识别符；/n在所述变更数据的种类为第一种类时，在第一列表中更新所述目标识别符对应的更新次数，以及在达到周期同步时间点时，根据所述第一列表中记录的目标识别符触发同步动作；/n在所述变更数据的种类为第二种类时，根据所述目标识别符触发所述同步动作；/n其中，所述同步动作包括调用服务模块读取缓存模块以获取变更后数据，并根据所述变更后数据更新搜索数据库，所述第一种类对应的数据为预设时间段内更新次数大于等于预设值的数据，所述第二种类对应的数据为预设时间段内更新次数小于所述预设值的数据。/n

【技术特征摘要】
1.一种商品数据同步方法，其特征在于，包括：
响应商品数据变更消息，获取一或多个变更数据的种类与一或多个目标识别符；
在所述变更数据的种类为第一种类时，在第一列表中更新所述目标识别符对应的更新次数，以及在达到周期同步时间点时，根据所述第一列表中记录的目标识别符触发同步动作；
在所述变更数据的种类为第二种类时，根据所述目标识别符触发所述同步动作；
其中，所述同步动作包括调用服务模块读取缓存模块以获取变更后数据，并根据所述变更后数据更新搜索数据库，所述第一种类对应的数据为预设时间段内更新次数大于等于预设值的数据，所述第二种类对应的数据为预设时间段内更新次数小于所述预设值的数据。


2.如权利要求1所述的商品数据同步方法，其特征在于，所述根据所述第一列表中记录的目标识别符触发同步动作包括：
在所述第一列表中获取当前对应更新次数最大的目标识别符；
生成基于所述当前对应更新次数最大的目标识别符的商品数据同步请求并将所述商品数据同步请求发送至所述服务模块；
获取所述服务模块返回的所述变更后数据，删除所述第一列表中所述当前对应更新次数最大的目标识别符及其更新次数。


3.如权利要求1所述的商品数据同步方法，其特征在于，所述根据所述变更后数据更新搜索数据库包括：
将所述变更后数据中的第一商品数据更新到所述搜索数据库。


4.如权利要求1所述的商品数据同步方法，其特征在于，所述调用服务模块读取缓存模块以获取变更后数据包括：
对所述服务模块发送包含所述目标识别符的商品数据同步请求，以使所述服务模块读取所述缓存模块；
所述服务模块在所述缓存模块中查找到所述目标识别符对应的商品数据时，获取所述目标识别符对应的商品数据作为所述变更后数据；
所述服务模块在所述缓存模块中未查找到所述目标识别符对应的商品数据时，在数据库中查找所述目标识别符对应的商品数据作为所述变更后数据，并将所述变更后数据与所述目标识别符对应写入所述缓存模块。


5.一种商品数据同步装置，其特征在于，包括：
变更响应模块，设置为响应商品数据变更消息，获取一或多个变更数据的种类与一或多个目标识别符；
动态数据同步模块，设置为在所述变更数据的种类为第一种类时，在第一列表中更新所述目标识别符对应的更新次数，以及在达到周期同步时间点时，根据所述第一列表中记录的目标识别符触发同步动作；
静态数据同步模块，设置为在所述变更数据的种类为第二种类时，根据所述目标识别符触发所述同步动作；
同步动作模块，设置为调用服务模块读取缓存模块以获取变更后数据，并根据所述变更后数据更新搜索数据库，所述第一种类对应的商品数据为预设时间段内更新次数大于等于预设值的数据，所述第二种类对应的商品数据为预设时间段内更新次数小于所述预设值的数据。

【专利技术属性】
技术研发人员：孟庆美，伞志远，
申请(专利权)人：北京懿医云科技有限公司，
类型：发明
国别省市：北京;11