应用程序特征数据处理方法、装置、设备及介质制造方法及图纸

本申请涉及应用程序特征数据处理方法、装置、设备及介质，方法包括：获取特征数据相对应的流式特征数据和/或批次特征数据，将流式特征数据和/或批次特征数据进行数据预处理以确定多个不同特征数据集；按照预设规则从多个特征数据集中提取出各个应用程序相对应的特征子集，将各个应用程序相对应的特征子集进行拼接确定各个应用程序相对应的特征数据集列表，并发送至程序特征池；获取各个应用程序相对应的特征视图配置信息，根据特征视图配置信息从程序特征池中的特征数据集列表确定各个应用程序相对应的视图数据；将视图数据推送至目标应用程序，以展示各个应用程序相对应的特征视图。本申请能够提高特征数据的灵活性、重用性以及可维护性等。以及可维护性等。以及可维护性等。

【技术实现步骤摘要】
应用程序特征数据处理方法、装置、设备及介质


[0001]本申请涉及数据处理领域，尤其涉及一种应用程序特征数据处理方法、相应的装置、电子设备及计算机可读存储介质。

技术介绍

[0002]在深度学习模型推理的业务场景中，经常需要针对超大规模的特征数据使用机器学习算法进行分类或者回归计算，在当前互联网的环境下，需要对数十亿甚至上千亿的数据进行训练，训练特征随着业务扩展，也会到一个非常惊人的量级，参与计算的特征有可能达到百亿的规模。
[0003]对于特征数据的处理，常规的解决方案是通过手动导出和导入、批量文件传输、数据库复制和同步、消息队列或API集成等方法进行同步和发布，但是在数十亿甚至上千亿的特征数据规模下，使用上述方法对特征数据进行同步和发布，其工作效率低下、特征数据的灵活性较差、可维护性以及重用性极低，满足不了各个应用程序的个性化需求以及功能需求。
[0004]综上，适应对于特征数据的同步与发布，其工作效率低下、特征数据的灵活性较差、可维护性以及重用性极低等问题，本申请人出于解决该问题的考虑做出相应的探索。

技术实现思路

[0005]本申请的目的在于解决上述问题而提供一种应用程序特征数据处理方法、相应的装置、电子设备及计算机可读存储介质。
[0006]为满足本申请的各个目的，本申请采用如下技术方案：
[0007]适应本申请的目的之一而提出的一种应用程序特征数据处理方法，包括如下步骤：
[0008]响应应用程序的特征数据请求事件而获取所述特征数据相对应的流式特征数据和/或批次特征数据，将所述流式特征数据和/或批次特征数据进行数据预处理以确定多个不同特征数据集；
[0009]按照预设规则从多个所述特征数据集中提取出各个应用程序相对应的特征子集以对应每个应用程序，将各个应用程序相对应的所述特征子集进行拼接确定各个应用程序相对应的特征数据集列表，并发送至程序特征池；
[0010]获取各个应用程序相对应的特征视图配置信息，根据所述特征视图配置信息从所述程序特征池中的所述特征数据集列表确定各个应用程序相对应的视图数据；
[0011]响应目标应用程序提交的特征视图调用指令而将该指令所指定的视图数据推送至所述目标应用程序，以展示各个应用程序相对应的特征视图。
[0012]可选的，响应应用程序的特征数据请求事件而获取所述特征数据相对应的流式特征数据和/或批次特征数据的步骤，包括如下步骤：
[0013]获取由上游系统下发的实时增量的流式特征数据中的流式特征数据标识符；
[0014]将所述流式特征数据标识符及其相对应的实时增量的流式特征数据发送至流式系统中，以便于各个应用程序实时获取所述流式特征数据的变化。
[0015]可选的，将所述流式特征数据和/或批次特征数据进行数据预处理以确定多个不同特征数据集的步骤，包括如下步骤：
[0016]对获取的各个来源及类型的所述流式特征数据或批次特征数据进行数据清洗；
[0017]对数据清洗后的各个类型的所述流式特征数据或批次特征数据进行归一化处理以确定多个不同特征数据集。
[0018]可选的，按照预设规则从多个所述特征数据集中提取出各个应用程序相对应的特征子集以对应每个应用程序，将各个应用程序相对应的所述特征子集进行拼接确定各个应用程序相对应的特征数据集列表的步骤，包括如下步骤：
[0019]获取所述各个应用程序中的深度学习模型相对应的应用程序标识以及其相对应的特征数据名称；
[0020]根据所述应用程序标识以及其相对应的特征数据名称从多个不同类型的所述特征数据集中提取出所述深度学习模型相对应的特征子集，将所述特征子集标准化处理为所述深度学习模型相对应的特征数据向量或特征数据矩阵；
[0021]根据所述特征数据向量或特征数据矩阵确定各个应用程序中的深度学习模型相对应的特征数据集列表。
[0022]可选的，根据所述特征视图配置信息从所述程序特征池中的所述特征数据集列表确定各个应用程序相对应的视图数据的步骤,包括如下步骤：
[0023]响应配置信息解析指令而获取所述特征视图配置信息中的特征数据名称和特征数据版本；
[0024]根据所述特征数据名称和特征数据版本从所述特征数据集列表确定各个应用程序相对应的特征数据，根据所述特征数据确定所述各个应用程序相对应的视图数据。
[0025]可选的，确定所述特征视图配置信息的步骤，包括如下步骤：
[0026]响应特征视图配置指令而定义所述应用程序的特征视图相对应的参数信息，所述参数信息包括布局样式、特征数据名称以及特征数据版本；
[0027]将所述参数信息中的布局样式、特征数据名称以及特征数据版本封装为特征视图配置信息。
[0028]可选的，响应目标应用程序提交的特征视图调用指令而将该指令所指定的视图数据推送至所述目标应用程序，以展示各个应用程序相对应的特征视图的步骤，包括如下步骤：
[0029]接收所述特征视图调用指令，根据所述特征视图调用指令提取出特征视图配置信息中的参数信息；
[0030]根据所述参数信息中的布局样式、特征数据名称以及特征数据版本生成数据查询请求；
[0031]根据所述数据查询请求从所述程序特征池中的所述特征数据集列表获取各个应用程序相对应的视图数据；
[0032]根据所述应用程序相对应的视图数据在各个应用程序的图形化界面中展示其相对应的所述特征视图。
[0033]适应本申请的另一目的而提供的一种应用程序特征数据处理装置，包括：
[0034]数据预处理模块，设置为响应应用程序的特征数据请求事件而获取所述特征数据相对应的流式特征数据和/或批次特征数据，将所述流式特征数据和/或批次特征数据进行数据预处理以确定多个不同特征数据集；
[0035]特征集确定模块，设置为按照预设规则从多个所述特征数据集中提取出各个应用程序相对应的特征子集以对应每个应用程序，将各个应用程序相对应的所述特征子集进行拼接确定各个应用程序相对应的特征数据集列表，并发送至程序特征池；
[0036]视图数据确定模块，设置为获取各个应用程序相对应的特征视图配置信息，根据所述特征视图配置信息从所述程序特征池中的所述特征数据集列表确定各个应用程序相对应的视图数据；
[0037]特征视图展示模块，设置为响应目标应用程序提交的特征视图调用指令而将该指令所指定的视图数据推送至所述目标应用程序，以展示各个应用程序相对应的特征视图。
[0038]适应本申请的另一目的而提供的一种电子设备，包括中央处理器和存储器，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本申请所述应用程序特征数据处理方法的步骤。
[0039]适应本申请的另一目的而提供的一种计算机可读存储介质，其以计算机可读指令的形式存储有依据所述应用程序特征数据处理方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行相应的方法所包括的步骤。
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用程序特征数据处理方法，其特征在于，包括如下步骤：响应应用程序的特征数据请求事件而获取所述特征数据相对应的流式特征数据和/或批次特征数据，将所述流式特征数据和/或批次特征数据进行数据预处理以确定多个不同特征数据集；按照预设规则从多个所述特征数据集中提取出各个应用程序相对应的特征子集以对应每个应用程序，将各个应用程序相对应的所述特征子集进行拼接确定各个应用程序相对应的特征数据集列表，并发送至程序特征池；获取各个应用程序相对应的特征视图配置信息，根据所述特征视图配置信息从所述程序特征池中的所述特征数据集列表确定各个应用程序相对应的视图数据；响应目标应用程序提交的特征视图调用指令而将该指令所指定的视图数据推送至所述目标应用程序，以展示各个应用程序相对应的特征视图。2.根据权利要求1所述的应用程序特征数据处理方法，其特征在于，响应应用程序的特征数据请求事件而获取所述特征数据相对应的流式特征数据和/或批次特征数据的步骤，包括如下步骤：获取由上游系统下发的实时增量的流式特征数据中的流式特征数据标识符；将所述流式特征数据标识符及其相对应的实时增量的流式特征数据发送至流式系统中，以便于各个应用程序实时获取所述流式特征数据的变化。3.根据权利要求1所述的应用程序特征数据处理方法，其特征在于，将所述流式特征数据和/或批次特征数据进行数据预处理以确定多个不同特征数据集的步骤，包括如下步骤：对获取的各个来源及类型的所述流式特征数据或批次特征数据进行数据清洗；对数据清洗后的各个类型的所述流式特征数据或批次特征数据进行归一化处理以确定多个不同特征数据集。4.根据权利要求1所述的应用程序特征数据处理方法，其特征在于，按照预设规则从多个所述特征数据集中提取出各个应用程序相对应的特征子集以对应每个应用程序，将各个应用程序相对应的所述特征子集进行拼接确定各个应用程序相对应的特征数据集列表的步骤，包括如下步骤：获取所述各个应用程序中的深度学习模型相对应的应用程序标识以及其相对应的特征数据名称；根据所述应用程序标识以及其相对应的特征数据名称从多个不同类型的所述特征数据集中提取出所述深度学习模型相对应的特征子集，将所述特征子集标准化处理为所述深度学习模型相对应的特征数据向量或特征数据矩阵；根据所述特征数据向量或特征数据矩阵确定各个应用程序中的深度学习模型相对应的特征数据集列表。5.根据权利要求1所述的应用程序特征数据处理方法，其特征在于，根据所述特征视图配置信息从所述程序特征池中的所述特征数据集列表确定各个应用程序相对应的视图数据的步骤,包括如下步骤：响应配置信息解析指令而获取所述...

【专利技术属性】
技术研发人员：林剑周，
申请(专利权)人：广州华多网络科技有限公司，
类型：发明
国别省市：