一种支持自定义标签的用户画像分析系统技术方案

本发明专利技术公开了一种支持自定义标签的用户画像分析系统，包括源数据层，用于存储原始业务数据的存储层；数据分析层，用于根据用户自定义配置的标签/指标，对原始业务数据进行分析处理，并将分析结果加载到数据仓库和数据应用模块，以供数据的展示和应用；数据产品端，基于数据分析层，由用户自行开发实现数据统计、展示分析。本发明专利技术将现有大数据技术框架进行深度整合，并对外提供标准的集成接口API，减少系统研发过程中技术框架的选择和整合工作，并易于集成到已有系统中；同时，可提供多种数据处理组件，灵活可配的标签化数据分析方案，可快速的应用于相关的大数据分析场景，并可快速响应不断变化的数据分析指标。

【技术实现步骤摘要】
一种支持自定义标签的用户画像分析系统
本专利技术涉及一种支持自定义标签的用户画像分析系统，属于数据分析

技术介绍
在互联网步入大数据时代后，用户行为给企业的产品和服务带来了一系列的改变和重塑，其中最大的变化在于，用户的一切行为在企业面前是“可追溯”、“可分析”的，企业内保存了大量的原始数据和各种业务数据，这是企业经营活动的真实记录，如何更加有效的利用这些数据进行分析和评估，成为企业基于更大数据量背景的问题所在。随着大数据技术的深入研究和应用，企业的关注点日益聚焦在如何利用大数据为精细化运营和精准营销服务，而要做精细化运营，首先要建立本企业的用户画像。所谓用户画像，即用户信息化标签，通过手机用户的社会属性、消费习惯、偏好特征等各个维度的数据，进而对用户的各类行为特征进行刻画，并对这些特征进行分析、统计，挖掘潜在的价值信息，并从中抽象出用户的信息全貌。用户画像可以看做企业精细化运营的根基，是定向广告投放与个性化推荐的前置条件，为数据驱动运营奠定了基础。用户画像相较于传统的企业报表，提供了更灵活的用户行为分析、更精准的个性化服务，是大数据落地应用的一个重要方向。目前，大数据存储、处理和分析等技术层出不穷，相同领域的框架呈多样化发展趋势，且各有优势与特点。当企业需要开展用户画像分析等相关业务时，系统研发人员往往面临着以下诸多问题：1、完成同一个功能，往往有很多相类似的框架或技术，研发人员需要花费时间进行调研、对比和试错；2、如何把多个框架进行有机的整合，并形成一套高效、精准的系统级整体解决方案；3、企业内部其他业务部门需要搭建类似的平台时，如何利用已有平台进行快速复用和整合。
技术实现思路
针对上述现有技术存在的问题，本专利技术提供一种支持自定义标签的用户画像分析系统，其结合用户画像类业务需求，将现有大数据技术框架进行深度整合，并对外提供标准的集成接口API，减少系统研发过程中技术框架的选择和整合工作，并易于集成到已有系统中；同时，可提供多种数据处理组件，灵活可配的标签化数据分析方案，可快速的应用于相关的大数据分析场景，并可快速响应不断变化的数据分析指标。为了实现上述目的，本专利技术采用如下技术方案：一种支持自定义标签的用户画像分析系统，整个系统分为三层，包括：源数据层，用于存储原始业务数据的存储层；数据分析层，用于根据用户自定义配置的标签/指标，对原始业务数据进行分析处理，并将分析结果加载到数据仓库和数据应用模块，以供数据的展示和应用；数据产品端，基于数据分析层，由用户自行开发实现数据统计、展示分析；所述数据分析层包括ODS存储层、数据处理模块、数据仓库和数据应用模块，所述ODS存储层是在业务系统和数据仓库之间形成的一个隔离层，用于接入和存储多个业务系统的原始数据，并为上层的数据分析引擎提供数据基础和支撑；所述数据处理模块包括标签元数据管理模块、任务调度引擎模块和运行状态监控模块，所述标签元数据管理模块用于管理描述用户画像内各标签的定义数据；所述任务调度引擎模块按照时间计划进行各任务的协调和调度，执行已部署好的数据分析程序，并提供Web监控和管理页面；所述数据仓库基于Hive实现，用于存储已处理完成的数据，并按主题进行分类；所述数据应用模块用于为数据产品端提供数据应用支撑；所述数据仓库的数据定期向数据应用模块进行同步。所述ODS存储层用Hive外部分区表实现，结合具体的业务需求按不同的维度进行分区设计。所述标签元数据是根据实际的业务需求建立的一套数据指标体系，包括统计类指标、规则类指标、算法类指标和机器学习挖掘类指标，所述标签元数据使用Mysql进行存储，并对外提供基础的查询、新增、修改、删除接口。所述任务调度引擎模块包括脚本管理、工作流、调度器、脚本插件、UI和API，具体执行流程包括以下步骤：步骤一、上传程序包/文件到服务器指定目录下：用户自行上传打包好的Jar包、sh文件、SQL文件；步骤二、录入执行脚本：用户通过UI界面录入脚本信息，包括名称、类型、版本、程序包路径、资源设置、执行环境参数、动态参数；步骤三、创建工作流：用户通过UI界面绘制DAG工作流，并配置每个节点的基础信息和执行顺序；步骤四、创建调度任务：系统根据工作流自动生成调度任务信息，包括Job、Trigger和Scheduler；步骤五、系统进行任务调度和执行：系统根据生成的调度信息，执行任务调度；步骤六、保存结果：保存任务调度记录和任务执行情况。所述数据仓库包括用户属性主题库、用户行为主题库、用户消费主题库、用户偏好主题库和用户价值主题库，所述用户属性主题库包括用户性别、年龄、学历、收入水平、婚姻状况和家庭成员情况；所述用户行为主题库包括近期出行频次、近期购物频次；所述用户消费主题库包括近期消费次数、近期消费金额、消费能力；所述用户偏好主题库包括常购商品类别、饮食习惯；所述用户价值主题库包括根据RFM模型计算出的用户价值信息。所述数据应用层利用ElasticSearch、Redis、Hbase和关系型数据库作为数据存储。与现有的技术相比，本专利技术采用一个高度封装的一体化数据分析层，可以实现数据采集、元数据定义、数据处理和数据应用等必要功能，并支持扩展。所述数据处理层采用自主研发的执行引擎，支持主流的数据处理框架和脚本，如shell、Spark、MR、Hive、SQL、Java、Python脚本等，通过在线编辑和配置即可实现应用快速部署和上线。最终，通过对现有主流大数据处理技术进行深度整合，并对外提供标准的集成接口API，大大减少了系统研发过程中技术框架的选择和整合工作，并易于集成到已有系统中。整个系统功能强大，提供多种数据处理组件，灵活可配的标签化数据分析方案，可快速的应用于相关的大数据分析场景，并可快速响应不断变化的数据分析指标。附图说明图1为本专利技术的总体架构图；图2为本专利技术任务调度引擎模块的工作流程；图3为本专利技术工作流的编排示意图；图4为本专利技术调度器的示意图。具体实施方式下面结合附图对本专利技术实施中的技术方案进行清楚，完整的描述，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1至图4所示，本专利技术提供的一种基于DFA算法进行网络舆情分析的方法，整个系统分为三层，包括：源数据层，用于存储原始业务数据的存储层；由业务系统管理和维护，如会员信息、订单信息、商品信息、会员访问日志、业务操作日志、埋点跟踪信息等；数据分析层，即本专利涉及的通用数据分析组件，用于根据用户自定义配置的标签/指标，对原始业务数据进行分析处理，并将分析结果加载到数据仓库和数据应用模块，以供数据的展示和应用；数据产品端，基于数据分析层，由用户自行开发实现数据统计、展示分析；如本文档来自技高网...

【技术保护点】
1.一种支持自定义标签的用户画像分析系统，其特征在于，整个系统分为三层，包括：/n源数据层，用于存储原始业务数据的存储层；/n数据分析层，用于根据用户自定义配置的标签/指标，对原始业务数据进行分析处理，并将分析结果加载到数据仓库和数据应用模块，以供数据的展示和应用；/n数据产品端，基于数据分析层，由用户自行开发实现数据统计、展示分析；/n所述数据分析层包括ODS存储层、数据处理模块、数据仓库和数据应用模块，所述ODS存储层是在业务系统和数据仓库之间形成的一个隔离层，用于接入和存储多个业务系统的原始数据，并为上层的数据分析引擎提供数据基础和支撑；/n所述数据处理模块包括标签元数据管理模块、任务调度引擎模块和运行状态监控模块，所述标签元数据管理模块用于管理描述用户画像内各标签的定义数据；所述任务调度引擎模块按照时间计划进行各任务的协调和调度，执行已部署好的数据分析程序，并提供Web监控和管理页面；/n所述数据仓库基于Hive实现，用于存储已处理完成的数据，并按主题进行分类；/n所述数据应用模块用于为数据产品端提供数据应用支撑；/n所述数据仓库的数据定期向数据应用模块进行同步。/n

【技术特征摘要】
1.一种支持自定义标签的用户画像分析系统，其特征在于，整个系统分为三层，包括：
源数据层，用于存储原始业务数据的存储层；
数据分析层，用于根据用户自定义配置的标签/指标，对原始业务数据进行分析处理，并将分析结果加载到数据仓库和数据应用模块，以供数据的展示和应用；
数据产品端，基于数据分析层，由用户自行开发实现数据统计、展示分析；
所述数据分析层包括ODS存储层、数据处理模块、数据仓库和数据应用模块，所述ODS存储层是在业务系统和数据仓库之间形成的一个隔离层，用于接入和存储多个业务系统的原始数据，并为上层的数据分析引擎提供数据基础和支撑；
所述数据处理模块包括标签元数据管理模块、任务调度引擎模块和运行状态监控模块，所述标签元数据管理模块用于管理描述用户画像内各标签的定义数据；所述任务调度引擎模块按照时间计划进行各任务的协调和调度，执行已部署好的数据分析程序，并提供Web监控和管理页面；
所述数据仓库基于Hive实现，用于存储已处理完成的数据，并按主题进行分类；
所述数据应用模块用于为数据产品端提供数据应用支撑；
所述数据仓库的数据定期向数据应用模块进行同步。


2.根据权利要求1所述的一种支持自定义标签的用户画像分析系统，其特征在于，所述ODS存储层用Hive外部分区表实现，结合具体的业务需求按不同的维度进行分区设计。


3.根据权利要求1所述的一种支持自定义标签的用户画像分析系统，其特征在于，所述标签元数据是根据实际的业务需求建立的一套数据指标体系，包括统计类指标、规则类指标、算法类指标和机器学习挖掘类指标，所述标签元数据使用Mysql进行存储，并对外提供基础的查询、...

【专利技术属性】
技术研发人员：卢宪政，左赋斌，
申请(专利权)人：南京智数云信息科技有限公司，
类型：发明
国别省市：江苏;32