一种基于机器学习的数据处理系统技术方案

本说明书公开了一种基于机器学习的数据处理系统，该系统中可以存在两种用户类型：专业用户类型以及数据分析用户类型，该数据处理系统可以接收用户的登录请求，根据登录请求，确定该用户的用户类型，根据用户的用户类型，确定与该用户类型相匹配的接口，并展示该用户类型对应的用户界面，以将用户在用户界面中输入的信息作为接口的入参，以执行数据处理任务，数据处理任务包括了训练任务和数据分析任务，若用户类型为专业用户类型，可以为其执行训练任务，若为数据分析用户类型，则可以为其执行数据分析任务，该系统使得专业型用户和非专业型用户可以共同使用该系统分别处理各自所需的任务，从而提高用户通过神经网络模型来进行数据分析的效率。进行数据分析的效率。进行数据分析的效率。

【技术实现步骤摘要】
一种基于机器学习的数据处理系统


[0001]本说明书涉及计算机
，尤其涉及一种基于机器学习的数据处理系统。

技术介绍

[0002]随着计算机技术的不断进步，在不同领域中，研发出了越来越多的神经网络算法，并且在各行各业也可以应用神经网络模型来进行数据分析、业务上的预测，从而提高了智能化的水平。
[0003]当前，用户若是需要通过神经网络模型来进行数据分析等任务，则需要将神经网络模型部署在自己的机器中，并通过大量的数据进行训练神经网络模型，而后才能够利用神经网络模型来执行任务。但是，这种方式效率较低，并且对用户的专业技术水平要求较高，则，如何提高用户通过神经网络模型任务执行的效率，则是一个亟待解决的问题。

技术实现思路

[0004]本说明书提供一种基于机器学习的数据处理系统，以部分的解决现有技术存在的上述问题。
[0005]本说明书采用下述技术方案：本说明书提供了一种基于机器学习的数据处理系统，所述数据处理系统包括交互单元、计算单元以及数据维护单元，所述数据处理系统中存在有至少两种用户类型，所述至少两种用户类型中包括专业用户类型以及数据分析用户类型：所述交互单元用于，接收用户的登录请求，根据所述登录请求，确定所述用户的用户类型，根据用户的用户类型，确定与所述用户类型相匹配的接口，并展示所述用户类型对应的用户界面，将所述用户在所述用户界面中输入的信息作为所述接口的入参，以执行数据处理任务，其中，所述专业用户类型对应的用户界面用于用户进行模型训练，所述数据分析用户类型对应的用户界面用于展示用户通过预先训练的神经网络模型进行数据分析；所述计算单元用于，若用户类型为专业用户类型，根据所述用户从专业用户类型对应的接口传入的入参，将用户从用户界面中选取出的神经网络模型进行训练；若用户类型为数据分析用户类型，根据所述用户从数据分析用户类型对应的接口传入的入参，确定用户选取出的数据分析任务类型，并根据所述数据分析任务类型下预先训练出的神经网络模型，确定针对所述用户上传的数据的分析结果，返回给所述用户界面进行展示；所述数据维护单元用于，通过预设的数据管理格式，对用户上传的数据进行格式转换，并对格式转换后的数据进行存储，所述数据的类型包括文本、图片以及视频中的至少一种。
[0006]可选地，所述系统还包括优化单元；所述优化单元用于，对神经网络模型的训练任务的优化，以及对数据分析任务的优化。
[0007]可选地，所述优化单元中部署有针对训练任务的优化算法，所述优化算法包括SGD
加速算法以及Adam加速算法中的至少一种。
[0008]可选地，所述计算单元包括计算框架单元以及操作算子单元，所述计算框架单元中部署有神经网络计算框架以及分布式计算引擎，所述分布式计算引擎包括Spark以及Flink中的至少一种，所述神经网络计算框架包括Pytorch框架和Tensorflow框架中的至少一种，所述操作算子单元中封装有各种类型的神经网络模型对应的接口。
[0009]可选地，所述计算单元用于，在接收到数据分析任务时，根据所述数据分析任务所对应的分布式计算引擎，执行所述数据分析任务，在接收到训练任务时，根据所述训练任务对应的神经网络计算框架。所述训练任务。
[0010]可选地，所述预设的数据管理格式包括Json数据格式，所述Json数据格式用于将数据转换为键
‑
值对格式，针对每个数据，若该数据为文本，该数据对应的值为字符串格式的文本，若该数据为图片或视频，则该数据对应的值为字符串格式的存储地址，所述存储地址用于存储该数据。
[0011]可选地，所述交互单元用于，根据所述用户历史上查询的数据，确定与所述查询的数据相关联的数据，作为目标数据，并将所述目标数据推荐给所述用户。
[0012]可选地，所述交互单元用于，根据所述用户当前通过神经网络模型对数据的分析结果类型，确定出与所述用户相匹配的其他分析结果类型，并推荐给所述用户。
[0013]本说明书提供一种基于数据处理系统的数据处理方法，所述数据处理系统包括交互单元、计算单元以及数据维护单元，所述数据处理系统中存在有至少两种用户类型，所述至少两种用户类型中包括专业用户类型以及数据分析用户类型，包括：接收用户的登录请求，根据所述登录请求，确定所述用户的用户类型；根据用户的用户类型，确定与所述用户类型相匹配的接口，并展示所述用户类型对应的用户界面，将所述用户在所述用户界面中输入的信息作为所述接口的入参，以执行数据处理任务，其中，所述专业用户类型对应的用户界面用于用户进行模型训练，所述数据分析用户类型对应的用户界面用于展示用户通过预先训练的神经网络模型进行数据分析；若用户类型为专业用户类型，根据所述用户从专业用户类型对应的接口传入的入参，将用户从用户界面中选取出的神经网络模型进行训练；若用户类型为数据分析用户类型，根据所述用户从数据分析用户类型对应的接口传入的入参，确定用户选取出的数据分析任务类型，并根据所述数据分析任务类型下预先训练出的神经网络模型，确定针对所述用户上传的数据的分析结果，返回给所述用户界面进行展示，其中，在所述数据处理系统中通过预设的数据管理格式，对用户上传的数据进行格式转换，并对格式转换后的数据进行存储，所述数据的类型包括文本、图片以及视频中的至少一种。
[0014]可选地，所述方法还包括：通过预设的数据管理格式，对用户上传的数据进行格式转换，并对格式转换后的数据进行存储，所述数据的类型包括文本、图片以及视频中的至少一种。
[0015]可选地，所述数据处理系统中部署有神经网络计算框架以及分布式计算引擎，并封装有各种类型的神经网络模型对应的接口，所述分布式计算引擎包括Spark以及Flink中的至少一种，所述神经网络计算框架包括Pytorch框架和Tensorflow框架中的至少一种，所述操作算子单元中封装有各种类型的神经网络模型对应的接口。
[0016]可选地，所述预设的数据管理格式包括Json数据格式，所述Json数据格式用于将数据转换为键
‑
值对格式，针对每个数据，若该数据为文本，该数据对应的值为字符串格式的文本，若该数据为图片或视频，则该数据对应的值为字符串格式的存储地址，所述存储地址用于存储该数据。
[0017]可选地，所述方法还包括：根据所述用户当前通过神经网络模型对数据的分析结果类型，确定出与所述用户相匹配的其他分析结果类型，并推荐给所述用户。
[0018]本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于数据处理系统的数据处理方法。
[0019]本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于数据处理系统的数据处理方法。
[0020]本说明书采用的上述至少一个技术方案能够达到以下有益效果：从上述基于机器学习的数据处理系统中可以看出，该数据处理系统中存在有至少两种用户类型，至少两种用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器学习的数据处理系统，其特征在于，所述数据处理系统包括交互单元、计算单元以及数据维护单元，所述数据处理系统中存在有至少两种用户类型，所述至少两种用户类型中包括专业用户类型以及数据分析用户类型：所述交互单元用于，接收用户的登录请求，根据所述登录请求，确定所述用户的用户类型，根据用户的用户类型，确定与所述用户类型相匹配的接口，并展示所述用户类型对应的用户界面，将所述用户在所述用户界面中输入的信息作为所述接口的入参，以执行数据处理任务，其中，所述专业用户类型对应的用户界面用于用户进行模型训练，所述数据分析用户类型对应的用户界面用于展示用户通过预先训练的神经网络模型进行数据分析；所述计算单元用于，若用户类型为专业用户类型，根据所述用户从专业用户类型对应的接口传入的入参，将用户从用户界面中选取出的神经网络模型进行训练；若用户类型为数据分析用户类型，根据所述用户从数据分析用户类型对应的接口传入的入参，确定用户选取出的数据分析任务类型，并根据所述数据分析任务类型下预先训练出的神经网络模型，确定针对所述用户上传的数据的分析结果，返回给所述用户界面进行展示；所述数据维护单元用于，通过预设的数据管理格式，对用户上传的数据进行格式转换，并对格式转换后的数据进行存储，所述数据的类型包括文本、图片以及视频中的至少一种。2.如权利要求1所述的系统，其特征在于，所述系统还包括优化单元；所述优化单元用于，对神经网络模型的训练任务的优化，以及对数据分析任务的优化。3.如权利要求2所述的系统，其特征在于，所述优化单元中部署有针对训练任务的优化算法以及针对数据分析任务的优化算法，所述针对训练任务的优化算法包括SGD加速算法以及Adam加速算法中的至少一种。4.如权利要求1所述的系统，其特征在于，所述计算单元包括计算框架单元以及操作算子单元，所述计算框架单元中部署有神经网络计算框架以及分布式计算引擎，所述分布式计算引擎包括Spark以及Flink中的至少一种，所述神经网络计算框架包括Pytorch框架和Tensorflow框架中的至少一种，所述操作算子单元中封装有各种神经网络模型对应的接口。5.权利要求1或4所述的系统，其特征在于，所述计算单元用于，在接收到数据分析任务时，根据所述数据分析任务所对应的分布式计算引擎，执行所述数据分析任务，在接收到训练任务时，根据所述训练任务对应的神经网络计算框架，执行所述训练任务。6.如权利要求1所述的系统，其特征在于，所述预设的数据管理格式包括Json数据格式，所述Json数据格式用于将数据转换为键
‑
值对格式，针对每个数据，若该数据为文本，该数据对应的值为字符串格式的文本，若该数据为图片或视频，则该数据对应的值为字符串格式的存储地址，所述存储地址用于存储该数据。7.如权利要求1所述的系统，其特征在于，所述交互单元用于，根据所述用户历史上执行数据分析任务的相关数据，确定与所述相关数据相匹配的数据，作为目标数据，并将所述目标数据推荐给所述用户，所述相关数据包括进行数据分析的...

【专利技术属性】
技术研发人员：杨智慧，王晓阳，
申请(专利权)人：之江实验室，
类型：发明
国别省市：