数据处理模型的生成方法技术

本发明专利技术提供一种数据处理模型的生成方法

【技术实现步骤摘要】
数据处理模型的生成方法、系统、设备及介质


[0001]本专利技术涉及数据处理领域，具体涉及一种数据处理模型的生成方法
、
系统
、
设备及介质
。

技术介绍

[0002]数据大爆发时代中，数据具有数量大
、
多样性
、
价值密度低等特点，对数据提取和处理的需求多样化，对数据处理模型的开发需要敏捷化
、
对模型之间的关系维护需要简易化
。
[0003]目前，数据处理模型的开发主要依赖开发人员通过写代码实现，过程中需根据业务逻辑变动不断进行代码修改代码，并重复执行打包
、
发布等操作任务，开发效率低
、
成本高
、
周期长；而且现有的数据处理模型耦合性高，模型难以分解重利用
。

技术实现思路

[0004]针对上述现有技术的不足，本专利技术的目的在于提供一种数据处理模型的生成方法
、
系统
、
设备及介质，以实现数据处理模型的敏捷开发
。
[0005]为了实现上述目的，本专利技术采用以下技术方案：
[0006]第一方面，本专利技术提供一种数据处理模型的生成方法，包括：
[0007]获取目标
source
模型，所述目标
source
模型选自所述
source
模型集或者根据用户自定义生成，所述
source
模型集包括若干
source
模型；
[0008]获取目标
transform
模型，所述目标
transform
模型选自所述
transform
模型集或者根据用户自定义生成，所述
transform
模型集包括若干
transform
模型；
[0009]获取目标
sink
模型，所述目标
sink
模型选自所述
sink
模型集或者根据用户自定义生成，所述
sink
模型集包括若干
sink
模型；
[0010]将所述目标
source
模型
、
目标
transform
模型和目标
sink
模型进行整合，以生成目标数据处理模型
。
[0011]优选地，所述方法还包括：
[0012]根据接收到的任务请求，调度目标任务以执行所述目标数据处理模型，得到任务处理结果
。
[0013]优选地，在获取所述
source
模型集之前，所述方法还包括：
[0014]建立元信息缓存数据库，所述元信息库缓存数据用于存储若干预设的存储系统的元信息，所述元信息包括所述存储系统中的数据源所对应的字段的库表字段信息
。
[0015]优选地，根据用户自定义生成所述目标
source
模型的步骤如下：
[0016]根据用户指令，从所述元信息缓存数据库中选择目标字段，并对所述目标字段进行第一逻辑操作，而后将相应的操作过程信息封装为第一数据处理信息；
[0017]基于所述第一数据处理信息进行第一合法性校验操作；
[0018]当校验成功时，根据所述第一数据处理信息，解析得到第一任务执行链及第一任
务链对象；
[0019]获取与所述第一任务执行链对应的代码；
[0020]基于所述第一任务执行链对应的代码以及所述第一任务链对象，生成所述目标
source
模型并将所述目标
source
模型加入所述
source
模型集
。
[0021]优选地，所述基于所述第一数据处理信息进行第一合法性校验操作，包括：
[0022]解析所述第一数据处理信息，得到所述目标字段对应的目标存储系统和库表字段信息；
[0023]检测所述目标存储系统中是否存在与解析得到的所述库表字段信息匹配的数据源，若存在，则所述第一合法性校验操作校验成功，反之，则所述第一合法性校验操作校验失败
。
[0024]优选地，根据用户自定义生成所述目标
transform
模型的步骤如下：
[0025]根据用户指令，从所述
transform
模型集中选择多个
transform
模型以合并成所述目标
transform
模型
。
[0026]优选地，根据用户自定义生成所述目标
transform
模型的步骤如下：
[0027]根据用户指令，从所述
source
模型集中选择一个或者多个
source
模型，并对选择的所述
source
模型进行第二逻辑操作，而后将相应的操作过程信息封装为第二数据处理信息；
[0028]基于所述第二数据处理信息进行第二合法性校验操作；
[0029]当校验成功时，根据所述第二数据处理信息，解析得到第二任务执行链及第二任务链对象；
[0030]获取与所述第二任务执行链对应的代码；
[0031]基于所述第二任务执行链对应的代码以及所述第二任务链对象，生成所述目标
transform
模型并将所述目标
transform
模型加入所述
transform
模型集
。
[0032]优选地，所述基于所述第二数据处理信息进行第二合法性校验操作，包括：
[0033]解析所述第二数据处理信息，得到所述第二逻辑操作中的数据流的字段类型；
[0034]基于预设的字段类型校验规则，校验所述第二逻辑操作中的数据流的字段类型是否合法，若合法，则第二合法性校验操作校验成功，反之，则第二合法性校验操作校验失败
。
[0035]优选地，根据用户自定义生成所述目标
sink
模型的步骤如下：
[0036]根据用户指令，从所述
source
模型集中选择
source
模型和
/
或从所述
transform
模型集中选择
transform
模型，并对选择的所述
source
模型和
/
或
transform
模型进行第三逻辑操作，而后将相应的操作过程信息封装为第三数据处理信息；
[0037]根据所述第三数据处理信息，解析得到第三任务执行链及第三任务链对象；
[0038]获取与所述第三任务执行链对应的代码；
[0039]基于所述第三任务执行链对应的代码以及所述第三任务链对象，生成所述目标...

【技术保护点】

【技术特征摘要】
1.
一种数据处理模型的生成方法，其特征在于，包括：获取目标
source
模型，所述目标
source
模型选自所述
source
模型集或者根据用户自定义生成，所述
source
模型集包括若干
source
模型；获取目标
transform
模型，所述目标
transform
模型选自所述
transform
模型集或者根据用户自定义生成，所述
transform
模型集包括若干
transform
模型；获取目标
sink
模型，所述目标
sink
模型选自所述
sink
模型集或者根据用户自定义生成，所述
sink
模型集包括若干
sink
模型；将所述目标
source
模型
、
目标
transform
模型和目标
sink
模型进行整合，以生成目标数据处理模型
。2.
如权利要求1所述的数据处理模型的生成方法，其特征在于，所述方法还包括：根据接收到的任务请求，调度目标任务以执行所述目标数据处理模型，得到任务处理结果
。3.
如权利要求1所述的数据处理模型的生成方法，其特征在于，在获取所述
source
模型集之前，所述方法还包括：建立元信息缓存数据库，所述元信息库缓存数据用于存储若干预设的存储系统的元信息，所述元信息包括所述存储系统中的数据源所对应的字段的库表字段信息
。4.
如权利要求3所述的数据处理模型的生成方法，其特征在于，根据用户自定义生成所述目标
source
模型的步骤如下：根据用户指令，从所述元信息缓存数据库中选择目标字段，并对所述目标字段进行第一逻辑操作，而后将相应的操作过程信息封装为第一数据处理信息；基于所述第一数据处理信息进行第一合法性校验操作；当校验成功时，根据所述第一数据处理信息，解析得到第一任务执行链及第一任务链对象；获取与所述第一任务执行链对应的代码；基于所述第一任务执行链对应的代码以及所述第一任务链对象，生成所述目标
source
模型并将所述目标
source
模型加入所述
source
模型集
。5.
如权利要求4所述的数据处理模型的生成方法，其特征在于，所述基于所述第一数据处理信息进行第一合法性校验操作，包括：解析所述第一数据处理信息，得到所述目标字段对应的目标存储系统和库表字段信息；检测所述目标存储系统中是否存在与解析得到的所述库表字段信息匹配的数据源，若存在，则所述第一合法性校验操作校验成功，反之，则所述第一合法性校验操作校验失败
。6.
如权利要求1所述的数据处理模型的生成方法，其特征在于，根据用户自定义生成所述目标
transform
模型的步骤如下：根据用户指令，从所述
transform
模型集中选择多个
transform
模型以合并成所述目标
transform
模型
。7.
如权利要求1所述的数据处理模型的生成方法，其特征在于，根据用户自定义生成所述目标
transform
模型的步骤如下：根据用户指令，从所述
source
模型集中选择一个或者多个
source
模型，并对选择的所
述
source
模型进行第二逻辑操作，而后将相应的操作过程信息封装为第二数据处理信息；基于所述第二数据处理信息进行第二合法性校验操作；当校验成功时，根据所述第二数据处理信息，解析得到第二任务执行链及第二任务链对象；获取与所述第二任务执行链对应的代码；基于所述第二任务执行链对应的代码以及所述第二任务链对象，生成所述目标
transform
模型并将所述目标
transform
模型加入所述
transform
模型集
。8.
如权利要求7所述的数据处理模型的生成方法，其特征在于，所述基于所述第二数据处理信息进行第二合法性校验操作，包括：解析所述第二数据处理信息，得到所述第二逻辑操作中的数据流的字段类型；基于预设的字段类型校验规则，校验所述第二逻辑操作中的数据流的字段类型是否合法，若合法，则第二合法性校验操作校验成功，反之，则第二合法性校验操作校验失败
。9.
如权利要求1所述的数据处理模型的生成方法，其特征在于，根据用户自定义生成所述目标
sink
模型的步骤如下：根据用户指令，从所述
source
模型集中选择
source
模型和
/
或从所述
transform
模型集中选择
transform
模型，并对选择的所述
source
模型和
/
或
transform
模型进行第三逻辑操作，而后将相应...

【专利技术属性】
技术研发人员：温建友，郭行飞，刘永丹，
申请(专利权)人：中新宽维传媒科技有限公司，
类型：发明
国别省市：