一种基于大数据的用户画像平台建立方法技术

本发明专利技术公开一种基于大数据的用户画像平台建立方法，结合企业用户日常数据，网络抓取数据，开发商数据，第三方数据等，通过数据分析去了解用户，根据他们的目标、行为和观点的差异，将他们区分为不同的类型，然后每种类型中抽取出典型特征，赋予名字、照片、一些人口统计学要素、场景等描述，就形成了一个画像原型。

【技术实现步骤摘要】
一种基于大数据的用户画像平台建立方法
本专利技术涉及一种基于大数据的用户画像平台建立方法，通过搭建一个用户画像平台，将本身拥有大量用户数据的数据平台和可视化数据工具平台连接起来，根据不同的用户交互场景，应用挖掘数据平台的价值，让研发生产，用户研究，市场营销等人员能够根据需要，随时自主地分析不同产品用户特征，快速洞察用户需求。该平台需要回答的核心问题是：用户是谁，用户需求是什么，用户在哪里。
技术介绍
从1991年TimBerners-Lee专利技术了万维网（WorldWideWeb）开始，到20年后2011年，互联网真正走向了一个新的里程碑，进入了“大数据代”。经历了12、13两年热炒之后，人们逐渐冷静下来，更加聚焦于如何利用大数据挖掘潜在的商业价值，如何在企业中实实在在的应用大数据技术。伴随着大数据应用的讨论、创新，个性化技术成为了一个重要落地点。相比传统的线下会员管理、问卷调查、购物篮分析，大数据第一次使得企业能够通过互联网便利地获取用户更为广泛的反馈信息，为进一步精准、快速地分析用户行为习惯、消费习惯等重要商业信息，提供了足够的数据基础。伴随着对人的了解逐步深入，一个概念悄然而生：用户画像（UserProfile），完美地抽象出一个用户的信息全貌，可以看作企业应用大数据的根基。用户画像就是在解决把数据转化为商业价值的问题，就是从海量数据中来挖金炼银。这些以TB计的高质量多维数据记录着用户长期大量的网络行为，用户画像据此来还原用户的属性特征、社会背景、兴趣喜好，甚至还能揭示内心需求、性格特点、社交人群等潜在属性。了解了用户各种消费行为和需求，精准刻画人群特征，并针对特定业务场景进行用户特征不同维度的聚合，就可以把原本冷冰冰的数据复原成栩栩如生的用户形象，从而指导和驱动业务场景和运营，发现和把握蕴藏在细分海量用户中的巨大商机。用户画像，即用户信息标签化，就是企业通过收集与分析消费者社会属性、生活习惯、消费行为等主要信息的数据之后，完美地抽象出一个用户的商业全貌，可以看作是企业应用大数据技术的基本方式。用户画像为企业提供了足够的信息基础，能够帮助企业快速找到精准用户群体以及用户需求等更为广泛的反馈信息。用户画像的焦点工作就是为用户打“标签”，而一个标签通常是人为规定的高度精炼的特征标识，如年龄、性别、地域、用户偏好等，最后将用户的所有标签综合来看，就可以勾勒出该用户的立体“画像”了。
技术实现思路
本专利技术提供一种基于大数据的用户画像平台建立方法，通过结合广州速鸿科技科技有限公司的数据库数据、企业用户日常数据、互联网数据、第三方数据及其他数据，结合实际需求，找出相关的数据实体，以数据实体为中心规约数据维度类型和关联关系，形成符合客户实际情况的用户画像体系。为了实现上述目的，本专利技术采用的技术方案如下。基于大数据的用户画像平台建立方法，包括以下步骤。（1）数据源系统，解决数据从哪里来。数据源包括开发商数据、企业用户日常数据、互联网数据、第三方数据及其他数据，然后通过广东速鸿科技科技有限公司的自主研发爬虫数据抓取平台抓取数据，经过ETL工具进行清洗数据。（2）数据存储系统，用来存储数据。数据存储系统包括SPARK数据库、ORACLE数据库、Hadoop数据库、MYSQL数据库及SQLSERVER数据库。（3）算法平台。算法平台的算法引擎包括R算法引擎、Python算法引擎、JAVA算法引擎。（4）可视化展示。可以通过PC端和移动端展示，并应用于个性化、精准营销、事件预警、决策支持等方面。与现有技术相比，本专利技术具有以下有益效果。（1）改变以往闭门造车的生产模式，通过事先调研用户需求，设计制造更适合用户的产品，提升用户体验。(2)根据产品特点，找到目标用户，在用户偏好的渠道上与其交互，促成购买，实现精准运营和营销。附图说明图1为本专利技术的流程图。图2为本专利技术的爬虫引擎示意图。具体实施方式下面结合具体实施例，进一步阐明本专利技术，应理解这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围，在阅读了本专利技术之后，本领域技术人员对本专利技术的各种等价形式的修改均落于本申请所附权利要求所限定的范围。基于大数据的用户画像平台建立方法，如图1所示，所构建系统的体系结构从下往上包括如下几个层级：数据源系统、数据存储系统、算法平台、可视化展示。1、一种基于大数据的用户画像平台建立方法，其中所述数据源系统包括如下几种数据：开发商数据、企业用户日常数据、互联网数据、第三方数据、其他数据，开发商数据来自广东速鸿科技科技有限公司已有数据库，企业用户日常数据是企业自身产生的数据，如OA系统、CRM系统、客户交易数据等，互联网数据来自用户线上数据，通过广东速鸿科技科技有限公司的爬虫引擎来进行爬取，如图2所示，第三方数据是竞争对手、数据提供商等的数据；通过广东速鸿科技科技有限公司的自主研发爬虫数据抓取平台抓取数据，经过ETL工具进行清洗数据，广州速鸿科技科技有限公司的ETL清洗工具包括kettle、datastage、informatica三种工具。2、一种基于大数据的用户画像平台建立方法，其中所述数据存储系统包括SPARK数据库、ORACLE数据库、Hadoop数据库、MYSQL数据库及SQLSERVER数据库，其中ORACLE数据库、MYSQL数据库及SQLSERVER数据库用来存储结构化的数据，SPARK和Hadoop可以用来存储结构化及非结构化的数据，Hadoop中的HDFS是Hadoop分布式文件系统(DistributedFileSystem)，大文件被分成默认64M一块的数据块分布存储在集群机器中，HBase:类似GoogleBigTable的分布式NoSQL列数据库，是一个适合于非结构化数据存储的数据库，Hive是数据仓库工具，是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。3、一种基于大数据的用户画像平台建立方法，其中所述算法平台包括R算法引擎、Python算法引擎、JAVA算法引擎，算法平台中用到的算法包括重定向(Retargeting)、关联规则(AssociationRule)、协作推荐CF、矩阵分解MF、图挖掘(GraphMining)、热度推荐、规则推荐、内容推荐(Contentbased)、预测模型(Predictmodel)、混合模型(Hybridmodel)、时序分析(Timeseriesanalysis)、仿真(Simulation)、空间分析(Spatialanalysis)、信号处理(Signalprocessing)、回归分析(Regression)、预测模型(Predictivemodeling)、模式识别(Patternrecognize)、最优化(optimization)、分类法(classification)、群集分析(clusteranalysis)、众包(crowdsourcing)、数据融合&数据集成(Datafusionanddataintegration)、集成学习(ensemblelearning)、遗传算法(geneticalgorithm)、自然语言处理(natura本文档来自技高网...

【技术保护点】
一种基于大数据的用户画像平台建立方法，其特征在于：包括以下步骤：步骤一、数据源系统，解决数据从哪里来数据源包括开发商数据、企业用户日常数据、互联网数据、第三方数据及其他数据，然后通过广东速鸿科技科技有限公司的自主研发爬虫数据抓取平台抓取数据，经过ETL工具进行清洗数据；步骤二、数据存储系统，用来存储数据数据存储系统包括SPARK数据库、ORACLE数据库、Hadoop数据库、MYSQL数据库及SQL SERVER数据库；步骤三、算法平台算法平台的算法引擎包括R算法引擎、Python算法引擎、JAVA算法引擎；步骤四、可视化展示可以通过PC端和移动端展示，并应用于个性化、精准营销、事件预警、决策支持等方面。

【技术特征摘要】
1.一种基于大数据的用户画像平台建立方法，其特征在于：包括以下步骤：步骤一、数据源系统，解决数据从哪里来数据源包括开发商数据、企业用户日常数据、互联网数据、第三方数据及其他数据，然后通过广东速鸿科技科技有限公司的自主研发爬虫数据抓取平台抓取数据，经过ETL工具进行清洗数据；步骤二、数据存储系统，用来存储数据数据存储系统包括SPARK数据库、ORACLE数据库、Hadoop数据库、MYSQL数据库及SQLSERVER数据库；步骤三、算法平台算法平台的算法引擎包括R算法引擎、Python算法引擎、JAVA算法引擎；步骤四、可视化展示可以通过PC端和移动端展示，并应用于个性...

【专利技术属性】
技术研发人员：陈鹏，李为，方桂芳，
申请(专利权)人：广州速鸿信息科技有限公司，
类型：发明
国别省市：广东,44