一种数据处理方法、装置、设备及可读存储介质制造方法及图纸

本发明专利技术公开了一种数据处理方法、装置、设备及可读存储介质，该方法包括：接收包括目标用户的识别信息和预设数据模型的数据处理指令；按照所述预设数据模型，从原始数据库中获取与所述识别信息关联的基础数据；按照所述预设数据模型，将所述基础数据转化为用于构成所述目标用户的用户画像的不同展示维度的特征数据；将所述不同展示维度的特征数据形成画像数据集，并将所述画像数据集与所述识别信息关联后存储到缓存数据库中；接收包括所述识别信的画像生成指令；从所述缓存数据库中获取与所述识别信息关联的画像数据集，并基于所述画像数据集形成所述目标用户的可视化的用户画像；本发明专利技术可以提高数据查询效率、更有效的形成用户画像。

【技术实现步骤摘要】
一种数据处理方法、装置、设备及可读存储介质
本专利技术涉及数据分析
，特别涉及一种数据处理方法、装置、设备及可读存储介质。
技术介绍
在基于用户数据形成用户画像的过程中，需要根据用户画像的需求，在数据库中进行数据查询、数据分析、数据处理等操作；但是，用户数据量级较大、且涉及多维度数据，在形成用户画像过程中需要在数据库中进行统计筛选，频繁的从量级较大的数据库中筛选数据，响应较慢，影响用户体验。而且，每次切换查询条件时，都需要重新与数据库做交互，较为繁琐。
技术实现思路
本专利技术的目的在于提供一种数据处理方法、装置、设备及可读存储介质，可以提高数据查询效率、更有效的形成用户画像。根据本专利技术的一个方面，提供了一种数据处理方法，所述方法包括：接收数据处理指令；其中，所述数据处理指令包括：目标用户的识别信息和预设数据模型；按照所述预设数据模型，从原始数据库中获取与所述识别信息关联的基础数据；按照所述预设数据模型，将所述基础数据转化为用于构成所述目标用户的用户画像的不同展示维度的特征数据；将所述不同展示维度的特征数据形成画像数据集，并将所述画像数据集与所述识别信息关联后存储到缓存数据库中；接收画像生成指令；其中，所述画像生成指令包括：所述识别信息；从所述缓存数据库中获取与所述识别信息关联的画像数据集，并基于所述画像数据集形成所述目标用户的可视化的用户画像。可选的，所述画像生成指令还包括：筛选维度和筛选范围；所述基于所述画像数据集形成所述目标用户的可视化的用户画像，具体包括：按照所述筛选维度从所述画像数据集中确定出对应展示维度的特征数据；按照所述筛选范围从所述对应展示维度的特征数据中筛选出目标特征数据；基于所述目标特征数据形成所述目标用户的可视化的用户画像。可选的，所述按照所述预设数据模型，从原始数据库中获取与所述识别信息关联的基础数据，具体包括：根据所述数据模型中的基础数据获取规则，从所述原始数据库中获取与所述识别信息关联的原始数据，并对所述原始数据进行数据清洗以得到基础数据；将所述基础数据存储到大数据数据库中。可选的，所述按照所述预设数据模型，将所述基础数据转化为用于构成所述目标用户的用户画像的不同展示维度的特征数据，具体包括：针对每个展示维度，根据所述数据模型中对应的特征数据生成规则，从所述大数据数据库中获取用于生成所述展示维度的特征数据的基础数据；根据所述基础数据，按照所述特征数据生成规则计算出所述特征数据；将所述特征数据存储到所述大数据数据库中。可选的，所述将所述画像数据集与所述识别信息关联后存储到缓存数据库中，具体包括：将所述画像数据集与所述识别信息关联后分别存储到Redis数据库和Ehcache数据库中；所述从所述缓存数据库中获取与所述识别信息关联的画像数据集，具体包括：判断在所述Ehcache数据库中是否存在与所述识别信息关联的画像数据集；若是，则从所述Ehcache数据库中获取与所述识别信息关联的画像数据集；若否，则从所述Redis数据库中获取与所述识别信息关联的画像数据集。可选的，所述方法还包括：按照设定时间间隔，定期分别从所述Redis数据库和Ehcache数据库中获取与目标识别信息关联的目标画像数据集；对比两个目标画像数据集中的数据是否一致，若不一致，则对不一致的数据进行标记，并向预设终端发送告警信息。为了实现上述目的，本专利技术还提供一种数据处理装置，所述装置包括：第一接收模块，用于接收数据处理指令；其中，所述数据处理指令包括：目标用户的识别信息和预设数据模型，且所述预设数据模块用于生成用户画像所需的数据；获取模块，用于按照所述预设数据模型，从原始数据库中获取与所述识别信息关联的基础数据；转化模块，用于按照所述预设数据模型，将所述基础数据转化为用于构成所述目标用户的用户画像的不同展示维度的特征数据；存储模块，用于将所述不同展示维度的特征数据形成画像数据集，并将所述画像数据集与所述识别信息关联后存储到缓存数据库中；第二接收模块，用于接收画像生成指令；其中，所述画像生成指令包括：所述识别信息；处理模块，用于从所述缓存数据库中获取与所述识别信息关联的画像数据集，并基于所述画像数据集形成所述目标用户的可视化的用户画像。可选的，所述画像生成指令还包括：筛选维度和筛选范围；所述处理模块，具体用于按照所述筛选维度从所述画像数据集中确定出对应展示维度的特征数据；按照所述筛选范围从所述对应展示维度的特征数据中筛选出目标特征数据；基于所述目标特征数据形成所述目标用户的可视化的用户画像。为了实现上述目的，本专利技术还提供一种计算机设备，该计算机设备具体包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述介绍的数据处理方法的步骤。为了实现上述目的，本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述介绍的数据处理方法的步骤。本专利技术提供的数据处理方法、装置、设备及可读存储介质，预先从海量级别的原始数据库中获取用于构成用户画像的画像数据，以对数据降维，并将处理过的画像数据存储在缓存数据库中；当用户需要生成用户画像时，用户可直接基于缓存数据库生成用户画像，而不再需要从原始数据库中查询数据，接口响应速度提高，可以实现海量级别数据的毫秒级别的响应与展示，提高了数据查询效率，从而更有效的形成用户画像。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1为实施例一提供的数据处理方法的一种可选的流程示意图；图2为实施例二提供的数据处理装置的一种可选的组成结构示意图；图3为实施例三提供的计算机设备的一种可选的硬件架构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例一本专利技术实施例提供了一种数据处理方法，如图1所示，该方法具体包括以下步骤：步骤S101：接收数据处理指令；其中，所述数据处理指令包括：目标用户的识别信息和预设数据模型。在本实施例中，预设数据模型用于计算出构建目标用户的用户画像所需的数据。具体的，在步骤S101之前，所述方法还包括：步骤A1：接收建模指令；其中，所述建模指令包括：用户画像的展示维本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：/n接收数据处理指令；其中，所述数据处理指令包括：目标用户的识别信息和预设数据模型；/n按照所述预设数据模型，从原始数据库中获取与所述识别信息关联的基础数据；/n按照所述预设数据模型，将所述基础数据转化为用于构成所述目标用户的用户画像的不同展示维度的特征数据；/n将所述不同展示维度的特征数据形成画像数据集，并将所述画像数据集与所述识别信息关联后存储到缓存数据库中；/n接收画像生成指令；其中，所述画像生成指令包括：所述识别信息；/n从所述缓存数据库中获取与所述识别信息关联的画像数据集，并基于所述画像数据集形成所述目标用户的可视化的用户画像。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
接收数据处理指令；其中，所述数据处理指令包括：目标用户的识别信息和预设数据模型；
按照所述预设数据模型，从原始数据库中获取与所述识别信息关联的基础数据；
按照所述预设数据模型，将所述基础数据转化为用于构成所述目标用户的用户画像的不同展示维度的特征数据；
将所述不同展示维度的特征数据形成画像数据集，并将所述画像数据集与所述识别信息关联后存储到缓存数据库中；
接收画像生成指令；其中，所述画像生成指令包括：所述识别信息；
从所述缓存数据库中获取与所述识别信息关联的画像数据集，并基于所述画像数据集形成所述目标用户的可视化的用户画像。


2.根据权利要求1所述的数据处理方法，其特征在于，所述画像生成指令还包括：筛选维度和筛选范围；
所述基于所述画像数据集形成所述目标用户的可视化的用户画像，具体包括：
按照所述筛选维度从所述画像数据集中确定出对应展示维度的特征数据；
按照所述筛选范围从所述对应展示维度的特征数据中筛选出目标特征数据；
基于所述目标特征数据形成所述目标用户的可视化的用户画像。


3.根据权利要求1所述的数据处理方法，其特征在于，所述按照所述预设数据模型，从原始数据库中获取与所述识别信息关联的基础数据，具体包括：
根据所述数据模型中的基础数据获取规则，从所述原始数据库中获取与所述识别信息关联的原始数据，并对所述原始数据进行数据清洗以得到基础数据；
将所述基础数据存储到大数据数据库中。


4.根据权利要求3所述的数据处理方法，其特征在于，所述按照所述预设数据模型，将所述基础数据转化为用于构成所述目标用户的用户画像的不同展示维度的特征数据，具体包括：
针对每个展示维度，根据所述数据模型中对应的特征数据生成规则，从所述大数据数据库中获取用于生成所述展示维度的特征数据的基础数据；
根据所述基础数据，按照所述特征数据生成规则计算出所述特征数据；
将所述特征数据存储到所述大数据数据库中。


5.根据权利要求4所述的数据处理方法，其特征在于，所述将所述画像数据集与所述识别信息关联后存储到缓存数据库中，具体包括：
将所述画像数据集与所述识别信息关联后分别存储到Redis数据库和Ehcache数据库中；
所述从所述缓存数据库中获取与所述...

【专利技术属性】
技术研发人员：冯英龙，
申请(专利权)人：平安养老保险股份有限公司，
类型：发明
国别省市：上海;31