日志信息的处理方法、装置、服务器及存储介质制造方法及图纸

本公开关于一种日志信息的处理方法、装置、服务器及存储介质。该方法包括：根据数据的规模等级确定采样比例，并根据采样比例，采用预设选取方式选取用户设备，作为目标用户设备；获取目标用户设备的日志信息，并将日志信息同步至消息队列；从消息队列中，获取采用预设选取方式选取的目标用户设备的日志信息，并确定与日志信息对应的采样日志信息规模；根据采样日志信息规模以及采样比例，确定所有用户设备的日志信息规模。本公开通过根据选取的目标用户设备的日志信息以及采样比例确定日志信息规模，实现了准确获取日志信息，且不需要大量存储资源、计算资源、以及网络传输资源的同时真实反映日志信息规模的效果。

【技术实现步骤摘要】
日志信息的处理方法、装置、服务器及存储介质
本公开实施例涉及数据处理技术，尤其涉及一种日志信息的处理方法、装置、服务器及存储介质。
技术介绍
随着网络技术的发展，用户在生活中对网络的依赖性越来越大，产生的数据也越来越多，尤其是在一些大型活动中，比如春节联欢晚会中，会出现日志信息突增，难以为数据消费方提供稳定可靠实时的日志信息规模。相关技术中，采用全量日志上传方案，按照指定维度，实时计算全量日志的日志信息规模。需要大量的网络传输资源、存储资源以及计算资源保证数据无延迟以及日志信息规模计算准确。
技术实现思路
本公开实施例提供一种日志信息的处理方法、装置、服务器及存储介质，以至少解决相关技术中确定日志信息规模时需要消耗大量资源的问题。本公开实施例的技术方案如下：根据本公开实施例的第一方面，提供一种日志信息的处理方法，包括：根据数据的规模等级确定采样比例，并根据所述采样比例，采用预设选取方式选取用户设备，作为目标用户设备；获取所述目标用户设备的日志信息，并将所述日志信息同步至消息队列；从所述消息队列中，获取采用所述预设选取方式选取的目标用户设备的日志信息，并确定与所述日志信息对应的采样日志信息规模；根据所述采样日志信息规模以及所述采样比例，确定所有用户设备的日志信息规模。可选的，所述根据所述采样比例，采用预设选取方式选取用户设备，作为目标用户设备步骤包括：获取用户设备的设备标识，并确定所述设备标识对应的第一哈希值；确定所述第一哈希值对预设第一步长的第一余数，并根据所述预设第一步长以及所述采样比例，确定第二步长；根据所述第二步长从所述第一余数中选取余数作为备选余数，并确定与所述备选余数对应的设备标识，将与确定的设备标识对应的用户设备作为所述目标用户设备；相应的，所述从所述消息队列中，获取采用所述预设选取方式选取的目标用户设备的日志信息步骤包括：获取所述消息队列中日志信息对应的设备标识，并确定所述设备标识对应的第二哈希值；确定所述第二哈希值对所述预设第一步长的第二余数，从所述第二余数中确定所述备选余数匹配的目标余数，并确定所述目标余数对应的目标设备标识；从所述消息队列中，获取与所述目标设备标识对应的日志信息。可选的，所述根据所述预设第一步长以及所述采样比例，确定第二步长步骤包括：确定所述预设第一步长与所述采样比例的乘积为所述第二步长；相应的，所述根据所述第二步长从所述第一余数中选取余数作为备选余数步骤包括：将所有第一余数按照大小顺序排序，并在排序后的所有第一余数中选取与所述第二步长对应个数的余数段，将所述余数段中的余数作为所述备选余数。可选的，所述设备标识为用户设备ID。可选的，所述日志信息为所述用户设备与服务器之间的数据流产生的日志；相应的，所述确定与所述日志信息对应的采样日志信息规模步骤包括：将所述日志信息按照分钟粒度以及统计指标维度确定对应的采样日志信息规模；其中，所述统计指标维度包括下述至少一项：用户在线量、视频播次数、视频点赞量、产品收藏量、或者产品购买量。可选的，在根据所述采样日志信息规模以及所述采样比例，确定所有用户设备的日志信息规模步骤之后，所述日志信息的处理方法还包括：将所述日志信息规模传输至管理者设备，以向管理者展示所述日志信息规模。可选的，所述根据所述采样日志信息规模以及所述采样比例，确定所有用户设备的日志信息规模步骤包括：将所述采样日志信息规模除以所述采样比例，以计算得到所述日志信息规模。可选的，所述根据数据的规模等级确定采样比例步骤包括：若检测到数据的规模等级为设定大流量的规模等级，则选取小于100％的值作为采样比例；若检测到数据的规模等级为常规流量的规模等级，则将100％作为采样比例。可选的，在所述根据所述采样日志信息规模以及所述采样比例，确定所有用户设备的日志信息规模步骤之后，所述日志信息的处理方法还包括：根据所述日志信息规模将与所述日志信息规模对应的推荐信息进行推荐顺序调整。根据本公开实施例的第二方面，提供一种日志信息的处理装置，包括：选取单元，被配置为执行根据数据的规模等级确定采样比例，并根据所述采样比例，采用预设选取方式选取用户设备，作为目标用户设备；同步单元，被配置为执行获取所述目标用户设备的日志信息，并将所述日志信息同步至消息队列；第一确定单元，被配置为执行从所述消息队列中，获取采用所述预设选取方式选取的目标用户设备的日志信息，并确定与所述日志信息对应的采样日志信息规模；第二确定单元，被配置为执行根据所述采样日志信息规模以及所述采样比例，确定所有用户设备的日志信息规模。可选的，所述选取单元，包括：第一获取子单元，被配置为执行获取用户设备的设备标识，并确定所述设备标识对应的第一哈希值；第一确定子单元，被配置为执行确定所述第一哈希值对预设第一步长的第一余数，并根据所述预设第一步长以及所述采样比例，确定第二步长；第一选取子单元，被配置为执行根据所述第二步长从所述第一余数中选取余数作为备选余数，并确定与所述备选余数对应的设备标识，将与确定的设备标识对应的用户设备作为所述目标用户设备；相应的，所述第一确定单元，包括：第二确定子单元，被配置为执行获取所述消息队列中日志信息对应的设备标识，并确定所述设备标识对应的第二哈希值；第三确定子单元，被配置为执行确定所述第二哈希值对所述预设第一步长的第二余数，从所述第二余数中确定所述备选余数匹配的目标余数，并确定所述目标余数对应的目标设备标识；第二获取子单元，被配置为执行从所述消息队列中，获取与所述目标设备标识对应的日志信息。可选的，所述第一确定子单元，具体被配置为执行：确定所述预设第一步长与所述采样比例的乘积为所述第二步长；相应的，所述第一选取子单元具体被配置为执行：将所有第一余数按照大小顺序排序，并在排序后的所有第一余数中选取与所述第二步长对应个数的余数段，将所述余数段中的余数作为所述备选余数。可选的，所述设备标识为用户设备ID。可选的，所述日志信息为所述用户设备与服务器之间的数据流产生的日志；相应的，所述第一确定单元，包括：第四确定子单元，被配置为执行将所述日志信息按照分钟粒度以及统计指标维度确定对应的采样日志信息规模；其中，所述统计指标维度包括下述至少一项：用户在线量、视频播次数、视频点赞量、产品收藏量、或者产品购买量。可选的，所述日志信息的处理装置，还包括：传输单元，被配置为在根据所述采样日志信息规模以及所述采样比例，确定所有用户设备的日志信息规模步骤之后，执行将所述日志信息规模传输至管理者设备，以向管理者展示所述日志信息规模。可选的，所述第二确定单元包括：计算子单元，被配置为执行将所述采样日志信息规本文档来自技高网...

【技术保护点】
1.一种日志信息的处理方法，其特征在于，包括：/n根据数据的规模等级确定采样比例，并根据所述采样比例，采用预设选取方式选取用户设备，作为目标用户设备；/n获取所述目标用户设备的日志信息，并将所述日志信息同步至消息队列；/n从所述消息队列中，获取采用所述预设选取方式选取的目标用户设备的日志信息，并确定与所述日志信息对应的采样日志信息规模；/n根据所述采样日志信息规模以及所述采样比例，确定所有用户设备的日志信息规模。/n

【技术特征摘要】
1.一种日志信息的处理方法，其特征在于，包括：
根据数据的规模等级确定采样比例，并根据所述采样比例，采用预设选取方式选取用户设备，作为目标用户设备；
获取所述目标用户设备的日志信息，并将所述日志信息同步至消息队列；
从所述消息队列中，获取采用所述预设选取方式选取的目标用户设备的日志信息，并确定与所述日志信息对应的采样日志信息规模；
根据所述采样日志信息规模以及所述采样比例，确定所有用户设备的日志信息规模。


2.根据权利要求1所述的日志信息的处理方法，其特征在于，所述根据所述采样比例，采用预设选取方式选取用户设备，作为目标用户设备步骤包括：
获取用户设备的设备标识，并确定所述设备标识对应的第一哈希值；
确定所述第一哈希值对预设第一步长的第一余数，并根据所述预设第一步长以及所述采样比例，确定第二步长；
根据所述第二步长从所述第一余数中选取余数作为备选余数，并确定与所述备选余数对应的设备标识，将与确定的设备标识对应的用户设备作为所述目标用户设备；
相应的，所述从所述消息队列中，获取采用所述预设选取方式选取的目标用户设备的日志信息步骤包括：
获取所述消息队列中日志信息对应的设备标识，并确定所述设备标识对应的第二哈希值；
确定所述第二哈希值对所述预设第一步长的第二余数，从所述第二余数中确定所述备选余数匹配的目标余数，并确定所述目标余数对应的目标设备标识；
从所述消息队列中，获取与所述目标设备标识对应的日志信息。


3.根据权利要求2所述的日志信息的处理方法，其特征在于，所述根据所述预设第一步长以及所述采样比例，确定第二步长步骤包括：
确定所述预设第一步长与所述采样比例的乘积为所述第二步长；
相应的，所述根据所述第二步长从所述第一余数中选取余数作为备选余数步骤包括：
将所有第一余数按照大小顺序排序，并在排序后的所有第一余数中选取与所述第二步长对应个数的余数段，将所述余数段中的余数作为所述备选余数。


4.根据权利要求1所述的日志信息的处理方法，其特征在于，所述日志信息为所述用户设备与服务器之间的数据流产生的日志；
相应的，所述确定与所述日志信息对应的采样日志信息规模步骤包括...

【专利技术属性】
技术研发人员：聂四品，郭君健，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京;11