用户数据的处理方法、装置和服务器制造方法及图纸

本申请提供一种用户数据的处理方法、装置和服务器，涉及数据处理领域，该方法包括：响应于客户端的日志采集模块采集到的当前用户日志数据，对当前用户日志数据进行信息提取，确定每个用户对应的当前用户数据；其中，当前用户数据包括用户标识、日志生成时间和指定维度的关注信息；基于预先存储的历史用户数据确定当前用户数据的新增用户标签和留存用户标签；根据包含有用户类型标签的当前用户数据确定当前用户日志数据对应的新增用户信息和留存用户信息。本申请无需外部触发，可以实时的得到新增用户信息和留存用户信息，提升了数据结果处理的实时性；同时，当日志数据较多时，无需对海量日志数据进行存储，降低了资源的消耗。降低了资源的消耗。降低了资源的消耗。

【技术实现步骤摘要】
用户数据的处理方法、装置和服务器


[0001]本专利技术涉及数据处理领域，具体而言，涉及一种用户数据的处理方法、装置和服务器。

技术介绍

[0002]随着互联网技术的发展，对互联网产品的用户数据进行分析，有助于用户拉新和营销策略的调整。相关技术中，针对用户日志数据，可以按照指定时长提取并进行离线批处理的方式，或者，也可以直接写入数据库并在查询时进行计算的方式，从而对用户数据进行分析。然而，这种方式无法及时的得到用户数据的分析结果，并且由于数据库的数据承载能力有限，针对海量数据的处理也会导致资源消耗过大。

技术实现思路

[0003]本专利技术的目的在于提供一种用户数据的处理方法、装置和服务器，无需外部触发，即可实时的得到新增用户信息和留存用户信息，提升了数据结果处理的实时性；同时，当日志数据较多时，无需对海量日志数据进行存储，降低了资源的消耗。
[0004]第一方面，本专利技术提供一种用户数据的处理方法，通过服务器向客户端提供应用服务，客户端内设置有日志采集模块；日志采集模块用于实时采集用户日志数据；方法包括：响应于客户端的日志采集模块采集到的当前用户日志数据，对当前用户日志数据进行信息提取，确定每个用户对应的当前用户数据；其中，当前用户数据包括用户标识、日志生成时间和指定维度的关注信息；基于预先存储的历史用户数据确定当前用户数据的用户类型标签；其中，用户类型标签包括新增用户标签和留存用户标签；根据包含有用户类型标签的当前用户数据确定当前用户日志数据对应的新增用户信息和留存用户信息；其中，新增用户信息和留存用户信息中均包含有指定维度的关注信息。
[0005]在可选的实施方式中，历史用户数据以键值对的形式存储于第一数据表中，每个用户的历史用户数据对应的键值对包括：根据所述用户的用户标识和指定维度的关注信息确定的键编号，以及根据所述历史用户数据的日志生成时间确定的键值；基于预先存储的历史用户数据确定当前用户数据的用户类型标签的步骤，包括：确定当前用户数据对应的第一键值对；其中，第一键值对包括根据所述当前用户的用户标识和指定维度的关注信息确定的第一键编号，以及根据所述当前用户数据对应的日志生成时间确定的第一键值；根据第一键值对和第一数据表中的历史用户数据的键值对确定当前用户数据的用户类型标签。
[0006]在可选的实施方式中，根据第一键值对和第一数据表中的历史用户数据的键值对确定当前用户数据的用户类型标签的步骤，包括：将当前用户数据存储至第一数据表中；在第一数据表中查找与第一键编号对应的历史用户数据，并判断是否存在与第一键值不同的其他键值对应的历史用户数据；如果否，则确定当前用户数据的用户类型标签为新增用户标签；如果是，则确定当前用户数据的用户类型标签为留存用户标签。
[0007]在可选的实施方式中，根据包含有用户类型标签的当前用户数据确定当前用户日志数据对应的新增用户信息和留存用户信息的步骤，包括：将包含有用户类型标签的当前用户数据进行多次复制，分别生成第一数据流和第二数据流；基于用户类型标签，从第一数据流中分流出当前用户日志数据对应的新增用户信息；判断第二数据流中是否存在用户标识相同且日志生成时间不同的用户数据，如果存在，则将第二数据流中与该用户标识对应的当前用户日志数据确定为留存用户信息。
[0008]在可选的实施方式中，第二数据流采用第二键值对的形式存储于第二数据表中，第二数据表中还包括预先存储的历史用户数据；第二键值对包括针对新增用户标签的第二键值对和针对留存用户标签的第二键值对；判断第二数据流中是否存在用户标识相同且日志生成时间不同的用户数据，如果存在，则将第二数据流中与该用户标识对应的当前用户日志数据确定为留存用户信息的步骤，包括：将不同用户类型标签对应的第二键值对进行格式统一处理，生成相同格式的第二键值对对应的第二数据表；基于第二键值对在第二数据表中查找是否存在与第二数据流中用户标识相同且日志生成时间不同的用户数据，如果存在，则将第二数据流中与该用户标识对应的当前用户日志数据确定为留存用户信息。
[0009]在可选的实施方式中，指定维度包括多个不同的维度；方法还包括：按照指定维度的关注信息对新增用户信息和/或留存用户信息进行聚合计数，得到不同维度的关注信息对应的用户数。
[0010]在可选的实施方式中，方法还包括：将新增用户信息和留存用户信息存储至外部数据库，外部数据库用于用户查看客户端的用户信息。
[0011]第二方面，本专利技术提供一种用户数据的处理装置，通过服务器向客户端提供应用服务，客户端内设置有日志采集模块；日志采集模块用于实时采集用户日志数据；装置包括：信息提取模块，用于响应于客户端的日志采集模块采集到的当前用户日志数据，对当前用户日志数据进行信息提取，确定每个用户对应的当前用户数据；其中，当前用户数据包括用户标识、日志生成时间和指定维度的关注信息；类型确定模块，用于基于预先存储的历史用户数据确定当前用户数据的用户类型标签；其中，用户类型标签包括新增用户标签和留存用户标签；数据处理模块，用于根据包含有用户类型标签的当前用户数据确定当前用户日志数据对应的新增用户信息和留存用户信息；其中，新增用户信息和留存用户信息中均包含有指定维度的关注信息。
[0012]第三方面，本专利技术提供一种服务器，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现前述实施方式任一项方法。
[0013]第四方面，本专利技术提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现前述实施方式任一项的方法。
[0014]本专利技术实施例提供的用户数据的处理方法、装置和服务器，通过服务器向设置有日志采集模块的客户端提供应用服务，其中，客户端设置的日志采集模块用于实时采集用户日志数据。该方法通过响应于客户端的日志采集模块采集到的当前用户日志数据，对当前用户日志数据进行信息提取，确定每个用户对应的包括有用户标识、日志生成时间和指定维度的关注信息的当前用户数据，然后基于预先存储的历史用户数据确定当前用户数据
对应的新增用户标签和留存用户标签，最终根据包含有用户类型标签的当前用户数据确定当前用户日志数据对应的均包含有指定维度的关注信息的新增用户信息和留存用户信息。该方式通过服务器在接收到客户端实时采集的用户日志数据时，就会自动进行信息提取和类型信息分类的处理，从而无需外部触发，即可实时的得到新增用户信息和留存用户信息，提升了数据结果处理的实时性；同时，当日志数据较多时，无需对海量日志数据进行存储，降低了资源的消耗。
[0015]本专利技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
[0016]为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用户数据的处理方法，其特征在于，通过服务器向客户端提供应用服务，所述客户端内设置有日志采集模块；所述日志采集模块用于实时采集用户日志数据；所述方法包括：响应于所述客户端的日志采集模块采集到的当前用户日志数据，对所述当前用户日志数据进行信息提取，确定每个用户对应的当前用户数据；其中，所述当前用户数据包括用户标识、日志生成时间和指定维度的关注信息；基于预先存储的历史用户数据确定所述当前用户数据的用户类型标签；其中，所述用户类型标签包括新增用户标签和留存用户标签；根据包含有所述用户类型标签的当前用户数据确定所述当前用户日志数据对应的新增用户信息和留存用户信息；其中，新增用户信息和留存用户信息中均包含有所述指定维度的关注信息。2.根据权利要求1所述的方法，其特征在于，所述历史用户数据以键值对的形式存储于第一数据表中，每个用户的历史用户数据对应的键值对包括：根据所述用户的用户标识和所述指定维度的关注信息确定的键编号，以及根据所述历史用户数据的日志生成时间确定的键值；基于预先存储的历史用户数据确定所述当前用户数据的用户类型标签的步骤，包括：确定所述当前用户数据对应的第一键值对；其中，所述第一键值对包括根据所述当前用户的用户标识和指定维度的关注信息确定的第一键编号，以及根据所述当前用户数据对应的日志生成时间确定的第一键值；根据所述第一键值对和所述第一数据表中的历史用户数据的键值对确定所述当前用户数据的用户类型标签。3.根据权利要求2所述的方法，其特征在于，根据所述第一键值对和所述第一数据表中的历史用户数据的键值对确定所述当前用户数据的用户类型标签的步骤，包括：将所述当前用户数据存储至第一数据表中；在所述第一数据表中查找与所述第一键编号对应的历史用户数据，并判断是否存在与所述第一键值不同的其他键值对应的历史用户数据；如果否，则确定所述当前用户数据的用户类型标签为新增用户标签；如果是，则确定所述当前用户数据的用户类型标签为留存用户标签。4.根据权利要求1所述的方法，其特征在于，根据包含有所述用户类型标签的当前用户数据确定所述当前用户日志数据对应的新增用户信息和留存用户信息的步骤，包括：将包含有所述用户类型标签的当前用户数据进行多次复制，分别生成第一数据流和第二数据流；基于所述用户类型标签，从所述第一数据流中分流出所述当前用户日志数据对应的新增用户信息；判断所述第二数据流中是否存在用户标识相同且日志生成时间不同的用户数据，如果存在，则将所述第二数据流中与该用户标识对应的所述当前用户日志数据确定为留存用户信息。...

【专利技术属性】
技术研发人员：吴剑飞，刘柏，范长杰，张宇昂，肖文浩，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：