搜索数据处理方法及相关产品技术

本申请实施例公开了一种搜索数据处理方法及相关产品，所述方法包括：接收第一数据源传输的第一搜索数据集，接收第二数据源传输的多个搜索业务记录；依据所述多个搜索业务记录生成第二搜索数据集，将所述第二搜索数据集和所述第一搜索数据集作为待消费数据异步归档至预设消息队列；从所述预设消息队列中提取所述待消费数据执行消费操作得到第三搜索数据集；存储所述第三搜索数据集至预设的第一数据库和第二数据库。实施本申请实施例具有用户体验度高的优点。

【技术实现步骤摘要】
搜索数据处理方法及相关产品
本申请涉及数据存储领域，具体涉及一种搜索数据处理方法及相关产品。
技术介绍
随着互联网技术的快速发展，搜索成为目前互联网产品的基本功能，搜索无论对于传统互联网时代B端应用或者移动互联网C端应用都是极为基本核心的组成部分，一个应用程序的搜索功能的强大与否对于增强用户体验以及提高用户粘性有着极大的作用。在搜索工作流程中，核心关键之处为搜索元数据的入库落地，传统的搜索元数据归档基本采用同步处理，即一次采集入库，但是，这种处理方式在面对突发情况时可能无法做到数据及时恢复，并且，在处理过程业务数据时，这种归档操作并发性能差，可能会大规模占有系统物理资源，从而导致其他系统服务阻塞，导致应用程序整体网络交互延迟，用户体验度低下。
技术实现思路
本申请实施例提供一种搜索数据处理方法及相关产品，通过对第一搜索数据集和第二搜索数据集异步归档至预设消息队列后执行消费操作得到第三搜索数据集，将第三搜索数据集存储至第一数据库和第二数据库，实现数据解耦，有利于减少系统物理资源占用率，从而降低网络交互延迟，提高用户体验度。第一方面，本申请实施例提供一种搜索数据归档方法，包括：接收第一数据源传输的第一搜索数据集，接收第二数据源传输的多个搜索业务记录；依据所述多个搜索业务记录生成第二搜索数据集，将所述第二搜索数据集和所述第一搜索数据集作为待消费数据异步存储至预设消息队列；从所述预设消息队列中提取所述待消费数据执行消费操作得到第三搜索数据集；存储所述第三搜索数据集至预设的第一数据库和第二数据库。第二方面，本申请实施例提供一种搜索数据归档装置，包括：接收单元，用于接收第一数据源传输的第一搜索数据集，接收第二数据源传输的多个搜索业务记录；生成单元，用于依据所述多个搜索业务记录生成第二搜索数据集，将所述第二搜索数据集和所述第一搜索数据集作为待消费数据异步存储至预设消息队列；消费单元，用于从所述预设消息队列中提取所述待消费数据执行消费操作得到第三搜索数据集；存储单元，用于存储所述第三搜索数据集至预设的第一数据库和第二数据库。第三方面，本申请实施例提供一种电子设备，其特征在于，包括处理器、存储器、通信设备以及一个或多个程序，处理器、存储器和通信设备相互连接，其中，通信设备用于与外部设备进行信息交互，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。可以看出，在本申请实施例中，电子设备接收第一数据源传输的第一搜索数据集，接收第二数据源传输的多个搜索业务记录；依据所述多个搜索业务记录生成第二搜索数据集，将所述第二搜索数据集和所述第一搜索数据集作为待消费数据异步存储至预设消息队列；从所述预设消息队列中提取所述待消费数据执行消费操作得到第三搜索数据集；存储所述第三搜索数据集至预设的第一数据库和第二数据库。如此，通过对第一搜索数据集和第二搜索数据集异步归档至预设消息队列后执行消费操作得到第三搜索数据集，将第三搜索数据集存储至第一数据库和第二数据库，实现数据解耦，有利于减少系统物理资源占用率，从而降低网络交互延迟，提高用户体验度。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请实施例提供的一种搜索数据处理方法的结构示意图；图2是本申请实施例提供的另一种搜索数据处理方法的流程示意图；图3是本申请实施例提供的另一种搜索数据处理方法的流程示意图；图4是本申请实施例提供的另一种搜索数据处理方法的流程示意图；图5是本申请实施例提供的一种电子设备的结构示意图；图6是本申请实施例提供的一种搜索数据处理装置的功能单元组成框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结果或特性可以包含在本专利技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备(例如智能手表、智能手环、计步器等)、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(UserEquipment，UE)，移动台(MobileStation，MS)，终端设备(terminaldevice)等等。为方便描述，上面提到的设备统称为电子设备。数据存档(dataarchiving)是将不再经常使用的数据移到一个单独的存储设备来进行长期保存的过程。数据存档由旧的数据组成，但它是以后参考所必需且很重要的数据，其数据必须遵从规则来保存。数据存档具有索引和搜索功能，这样文件可以很容易地找到。下面对本申请实施例进行详细介绍。请参阅图1，图1是本申请实施例提供的一种搜索数据处理方法的流程示意图，应用于电子设备，本搜索数据处理方法包括：步骤101、接收第一数据源传输的第一搜索数据集，接收第二数据源传输的多个搜索业务记录；可选的，在接收第一数据源传输的第一搜索数据集，接收第二数据源传输的多个搜索业务记录之前，还包括：设置定时控制器，该定时控制器用于控制该第一数据源和该第二数据源的数据传输，当该定时控制器的时间本文档来自技高网...

【技术保护点】
1.一种搜索数据处理方法，其特征在于，包括：/n接收第一数据源传输的第一搜索数据集，接收第二数据源传输的多个搜索业务记录；/n依据所述多个搜索业务记录生成第二搜索数据集，将所述第二搜索数据集和所述第一搜索数据集作为待消费数据异步归档至预设消息队列；/n从所述预设消息队列中提取所述待消费数据执行消费操作得到第三搜索数据集；/n存储所述第三搜索数据集至预设的第一数据库和第二数据库。/n

【技术特征摘要】
1.一种搜索数据处理方法，其特征在于，包括：
接收第一数据源传输的第一搜索数据集，接收第二数据源传输的多个搜索业务记录；
依据所述多个搜索业务记录生成第二搜索数据集，将所述第二搜索数据集和所述第一搜索数据集作为待消费数据异步归档至预设消息队列；
从所述预设消息队列中提取所述待消费数据执行消费操作得到第三搜索数据集；
存储所述第三搜索数据集至预设的第一数据库和第二数据库。


2.根据权利要求1所述的方法，其特征在于，所述依据所述多个搜索业务记录生成第二搜索数据集，包括：
从所述多个搜索业务记录中提取多个搜索业务流水，其中，所述多个搜索业务流水中任意一个搜索业务流水包括至少一个搜索关键字；
对所述多个搜索业务流水执行搜索关键字提取操作，得到所述多个搜索业务流水对应的多个搜索关键字集；
合并所述多个搜索关键字集得到所述第二搜索数据集。


3.根据权利要求1所述的方法，其特征在于，所述从所述预设消息队列中提取所述待消费数据执行消费操作得到第三搜索数据集，包括：
获取预设的多个消费服务器对应的多个监听器，所述多个监听器用于监听所述第一数据源和所述第二数据源的数据传输操作；
当所述多个监听器监听到所述第一数据源和/或所述第二数据源的数据传输操作时，启动所述多个消费服务器；
依据所述多个消费服务器对所述待消费数据执行消费操作得到所述第三搜索数据集。


4.根据权利要求3所述的方法，其特征在于，所述依据所述多个消费服务器对所述待消费数据执行消费操作得到所述第三搜索数据集，包括：
依据预设的数据提取规则从所述预设消息队列中提取所述待消费数据；
获取所述待消费数据的待消费数据格式，判断预设的数据格式集是否包含所述待消费数据格式；
若所述数据格式集包含所述待消费数据格式，依据预设的数据格式与消费服务器的映射关系和所述多个消费服务器确定所述待消费数据格式对应的目标消费服务器；
依据所述待消费数据生成数据消费指令，向所述目标消费服务器发送所述数据消费指令，其中，所述数据消费指令用于指示所述目标消费服务器对所述待消费数据执行消费操作；
接收所述目标消费服务器返回的数据消费响应，从所述数据消费响应中提取消费数据；
依据所述消费数据生成所述第三搜索数据集。
<...

【专利技术属性】
技术研发人员：郭旭辉，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：广东;44