数据处理方法、装置、计算机设备及存储介质制造方法及图纸

本申请实施例属于人工智能领域，涉及一种数据处理方法，包括：判断是否接收到用户触发与目标数据分析系统对应的数据加工请求；若是，展示数据配置页面，并接收用户在数据配置页面输入的数据加工配置信息；基于事实表配置信息与维表配置信息生成星型模型；基于星型模型生成与分析需求信息对应的目标结构化查询语句；从目标数据库查询与目标结构化查询语句对应的目标数据；基于数据输入周期信息将目标数据输入至目标数据分析系统内。本申请还提供一种数据处理装置、计算机设备及存储介质。此外，本申请还涉及区块链技术，目标数据可存储于区块链中。本申请降低了对数据分析系统的数据输入的处理成本，提高了对数据分析系统的数据输入的处理效率。据输入的处理效率。据输入的处理效率。

【技术实现步骤摘要】
数据处理方法、装置、计算机设备及存储介质


[0001]本申请涉及人工智能
，尤其涉及数据处理方法、装置、计算机设备及存储介质。

技术介绍

[0002]随着金融企业的规模及业务的不断增长，现有大部分的金融企业均在业务运作过程中经常会使用到数据分析系统Druid，且目前通常会具有对数据分析系统进行数据输入的业务需求。现有对于对数据分析系统进行数据输入的处理流程通常采用宽表模型加工方式，需要开发人员手写与数据输入相关的SQL语句,由于每个开发人员风格、指标口径不一致，加工逻辑需手工维护，从而需要消耗较多的人力时间资源，导致对数据分析系统的数据输入存在处理成本较高，且处理效率低下的问题。

技术实现思路

[0003]本申请实施例的目的在于提出一种数据处理方法、装置、计算机设备及存储介质，用于解决现有的对数据分析系统进行数据输入的处理流程需要消耗较多的人力时间资源，导致对数据分析系统的数据输入存在处理成本较高，且处理效率低下的技术问题。
[0004]为了解决上述技术问题，本申请实施例提供一种数据处理方法，采用了如下所述的技术方案：
[0005]判断是否接收到用户触发与目标数据分析系统对应的数据加工请求；
[0006]若是，展示预设的数据配置页面，并接收所述用户在所述数据配置页面输入的数据加工配置信息；其中，所述数据加工配置信息至少包括事实表配置信息、维表配置信息、分析需求信息以及数据输入周期信息；
[0007]基于所述事实表配置信息与所述维表配置信息生成对应的星型模型；/>[0008]基于所述星型模型生成与所述分析需求信息对应的目标结构化查询语句；
[0009]将所述目标结构化查询语句下发至预设的目标数据库中，从所述目标数据库中查询出与所述目标结构化查询语句对应的目标数据；
[0010]基于所述数据输入周期信息，将所述目标数据输入至所述目标数据分析系统内。
[0011]进一步的，所述基于所述星型模型生成与所述分析需求信息对应的目标结构化查询语句的步骤，具体包括：
[0012]基于所述星型模型对所述分析需求信息进行解析，从所述分析需求信息中获取语句构建关键信息；其中，所述语句构建关键信息至少包括字段信息、表信息、分组维度信息以及筛选条件信息；
[0013]基于所述语句构建关键信息生成所述目标结构化查询语句。
[0014]进一步的，所述基于所述事实表配置信息与所述维表配置信息生成对应的星型模型的步骤，具体包括：
[0015]基于所述事实表配置信息构建对应的事实表；以及，
[0016]基于所述维表配置信息构建对应的维表；
[0017]获取所述事实表与所述维表之间的关联关系；
[0018]基于所述关联关系生成所述星型模型。
[0019]进一步的，在所述基于所述维表配置信息构建对应的维表的步骤之后，还包括：
[0020]判断是否接收到所述用户触发的对于目标表的编辑请求；其中，所述目标表包括所述事实表或所述维表；
[0021]若是，展示包含所述目标表的可编辑页面；
[0022]接收所述用户在所述可编辑页面输入的修改信息；
[0023]基于所述修改信息对所述目标表进行对应的修改处理。
[0024]进一步的，所述基于所述数据输入周期信息，将所述目标数据输入至所述目标数据分析系统内的步骤，具体包括：
[0025]基于所述数据输入周期信息，生成与所述目标数据对应的定时数据输入任务；
[0026]获取当前时间；
[0027]在当前时间到达所述数据输入周期信息对应的时间点时，执行所述定时数据输入任务，以将所述目标数据输入至所述目标数据分析系统内。
[0028]进一步的，所述数据加工请求还携带所述用户的用户信息，所述展示预设的数据配置页面，并接收所述用户在所述数据配置页面输入的数据加工配置信息的步骤，具体包括：
[0029]从所述数据加工请求中解析出所述用户信息；
[0030]判断预设的合法用户名单中是否存储有所述用户信息；
[0031]若存储有所述用户信息，从预设的图像数据库中获取与所述用户信息对应的标准人脸图像；
[0032]采集所述用户的人脸图像；
[0033]对所述人脸图像进行图像增强处理，得到对应的目标人脸图像；
[0034]判断所述目标人脸图像与所述标准人脸图像是否匹配；
[0035]若匹配，判定所述用户通过身份验证，并执行所述展示预设的数据配置页面，并接收所述用户在所述数据配置页面输入的数据加工配置信息的步骤。
[0036]进一步的，所述对所述人脸图像进行图像增强处理，得到对应的目标人脸图像的步骤，具体包括：
[0037]调用预先训练好的图像增强模型；
[0038]将所述人脸图像输入至所述图像增强模型内；
[0039]通过所述图像增强模型对所述人脸图像进行图像增强处理，得到所述目标人脸图像。
[0040]为了解决上述技术问题，本申请实施例还提供一种数据处理装置，采用了如下所述的技术方案：
[0041]判断模块，用于判断是否接收到用户触发与目标数据分析系统对应的数据加工请求；
[0042]接收模块，用于若是，展示预设的数据配置页面，并接收所述用户在所述数据配置页面输入的数据加工配置信息；其中，所述数据加工配置信息至少包括事实表配置信息、维
表配置信息、分析需求信息以及数据输入周期信息；
[0043]第一生成模块，用于基于所述事实表配置信息与所述维表配置信息生成对应的星型模型；
[0044]第二生成模块，用于基于所述星型模型生成与所述分析需求信息对应的目标结构化查询语句；
[0045]查询模块，用于将所述目标结构化查询语句下发至预设的目标数据库中，从所述目标数据库中查询出与所述目标结构化查询语句对应的目标数据；
[0046]处理模块，用于基于所述数据输入周期信息，将所述目标数据输入至所述目标数据分析系统内。
[0047]为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
[0048]判断是否接收到用户触发与目标数据分析系统对应的数据加工请求；
[0049]若是，展示预设的数据配置页面，并接收所述用户在所述数据配置页面输入的数据加工配置信息；其中，所述数据加工配置信息至少包括事实表配置信息、维表配置信息、分析需求信息以及数据输入周期信息；
[0050]基于所述事实表配置信息与所述维表配置信息生成对应的星型模型；
[0051]基于所述星型模型生成与所述分析需求信息对应的目标结构化查询语句；
[0052]将所述目标结构化查询语句下发至预设的目标数据库中，从所述目标数据库中查询出与所述目标结构化查询语句对应的目标数据；
[0053]基于所述数据输入周期信息，将所述目标数据输入至所述目标数据分析系统内。
[0054]为了解决上本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括下述步骤：判断是否接收到用户触发与目标数据分析系统对应的数据加工请求；若是，展示预设的数据配置页面，并接收所述用户在所述数据配置页面输入的数据加工配置信息；其中，所述数据加工配置信息至少包括事实表配置信息、维表配置信息、分析需求信息以及数据输入周期信息；基于所述事实表配置信息与所述维表配置信息生成对应的星型模型；基于所述星型模型生成与所述分析需求信息对应的目标结构化查询语句；将所述目标结构化查询语句下发至预设的目标数据库中，从所述目标数据库中查询出与所述目标结构化查询语句对应的目标数据；基于所述数据输入周期信息，将所述目标数据输入至所述目标数据分析系统内。2.根据权利要求1所述的数据处理方法，其特征在于，所述基于所述星型模型生成与所述分析需求信息对应的目标结构化查询语句的步骤，具体包括：基于所述星型模型对所述分析需求信息进行解析，从所述分析需求信息中获取语句构建关键信息；其中，所述语句构建关键信息至少包括字段信息、表信息、分组维度信息以及筛选条件信息；基于所述语句构建关键信息生成所述目标结构化查询语句。3.根据权利要求1所述的数据处理方法，其特征在于，所述基于所述事实表配置信息与所述维表配置信息生成对应的星型模型的步骤，具体包括：基于所述事实表配置信息构建对应的事实表；以及，基于所述维表配置信息构建对应的维表；获取所述事实表与所述维表之间的关联关系；基于所述关联关系生成所述星型模型。4.根据权利要求3所述的数据处理方法，其特征在于，在所述基于所述维表配置信息构建对应的维表的步骤之后，还包括：判断是否接收到所述用户触发的对于目标表的编辑请求；其中，所述目标表包括所述事实表或所述维表；若是，展示包含所述目标表的可编辑页面；接收所述用户在所述可编辑页面输入的修改信息；基于所述修改信息对所述目标表进行对应的修改处理。5.根据权利要求1所述的数据处理方法，其特征在于，所述基于所述数据输入周期信息，将所述目标数据输入至所述目标数据分析系统内的步骤，具体包括：基于所述数据输入周期信息，生成与所述目标数据对应的定时数据输入任务；获取当前时间；在当前时间到达所述数据输入周期信息对应的时间点时，执行所述定时数据输入任务，以将所述目标数据输入至所述目标数据分析系统内。6.根据权...

【专利技术属性】
技术研发人员：何泽鸿，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：