自动化任务排程方法、电子设备及存储介质技术

本申请提供一种自动化任务排程方法、电子设备及存储介质，所述方法包括：获取数据处理任务及数据源；根据所述数据处理任务生成作业队列；从所述作业队列中依次提取作业任务；根据提取到的作业任务分配计算资源；基于所述数据源，通过预先训练完成的模型得到数据处理任务结果。通过本申请可以提高任务排程的效率。通过本申请可以提高任务排程的效率。通过本申请可以提高任务排程的效率。

【技术实现步骤摘要】
自动化任务排程方法、电子设备及存储介质


[0001]本申请涉及数据分析领域，尤其涉及一种自动化任务排程方法、电子设备及存储介质。

技术介绍

[0002]目前的边缘运算架构，多数依赖于云端进行无隐私的数据运算，边缘运算装置仅能进行数据收集或简单的数据前处理。对于有数据隐私考虑的企业或单位，数据云并不可行。此外，若自行搭建整套私有云，建构维护成本又太高。因此，产生了搭载图形处理器(Graphic Processing Unit，GPU)等具有较高运算资源的边缘计算装置，但是目前缺乏一个充分且能有效利用资源的架构。现有的平台需具备足够的数据科学领域知识的人员才能操作，因此局限了其他领域的人员对数据进行自动分析。

技术实现思路

[0003]鉴于以上内容，有必要提供一种自动化任务排程方法、电子设备及存储介质，能提高任务排程的效率。
[0004]本申请提供一种自动化任务排程方法，所述方法包括：获取数据处理任务及数据源；根据所述数据处理任务生成作业队列；从所述作业队列中依次提取作业任务；根据提取到的作业任务分配计算资源；基于所述数据源，通过预先训练完成的模型得到数据处理任务结果。
[0005]在一种可能的实现方式中，所述获取数据源包括以下一种或多种的组合：接收通过服务器接口发送的数据源；接收通过客户端接口发送的数据源；接收通过档案储存协议发送的数据源。
[0006]在一种可能的实现方式中，所述根据所述数据处理任务生成作业队列包括：拆分所述数据处理任务为所述作业任务；为所述作业任务建立逻辑依赖关系；设置每个所述作业任务的执行频率；根据所述作业任务、所述逻辑依赖关系和所述执行频率生成所述作业队列。
[0007]在一种可能的实现方式中，所述从所述作业队列中依次提取所述作业任务包括：根据所述逻辑依赖关系确定作业顺序；根据所述作业顺序从所述作业队列中依次提取所述作业任务。
[0008]在一种可能的实现方式中，所述根据提取到的作业任务分配计算资源包括：获取每个所述作业任务的资源用量；基于所述资源用量，获取资源许可时间点；在所述资源许可时间点将所述计算资源分配给所述提取到的作业任务。
[0009]在一种可能的实现方式中，所述在所述资源许可时间点将所述计算资源分配给所述提取到的作业任务包括：在所述资源许可时间点将静态资源分配给所述提取到的作业任务；或在所述资源许可时间点将动态资源分配给所述提取到的作业任务。
[0010]在一种可能的实现方式中，所述方法还包括：确定所述作业任务所需的模型；通过
边缘端从云端的模型储存库获取最新的模型列表，并且下载每个所述作业任务所需的模型到边缘计算设备上。
[0011]在一种可能的实现方式中，所述基于所述数据源，通过预先训练完成的模型得到数据处理任务结果包括：基于提取到的第一个作业任务，将所述数据源输入至预先训练完成的第一模型，得到第一作业任务结果；基于提取到的第二个作业任务，将所述第一作业任务结果输入至预先训练完成的第二模型，得到第二作业任务结果；继续执行下一作业任务，将上一个作业任务结果输入至预先训练完成的下一作业任务对应的模型，得到所述下一个作业任务的作业任务结果，直至最后一个作业任务执行完毕；将所述最后一个作业任务的作业任务结果作为所述数据处理任务结果。
[0012]本申请还提供一种电子设备，所述电子设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现所述的自动化任务排程方法。
[0013]本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的自动化任务排程方法。
[0014]本申请公开的自动化任务排程方法及相关设备，通过利用有限的计算资源进行任务排程提升了资源使用率，并结合自动化的数据收集，用户只需提供数据源，即可进行持续的数据分析。
附图说明
[0015]图1是本申请实施例提供的一种自动化任务排程方法的电子设备的结构示意图。
[0016]图2是本申请实施例提供的一种自动化任务排程方法的流程图。
具体实施方式
[0017]为了使本申请的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本申请进行详细描述。
[0018]请参阅图1，图1为本申请一实施例的电子设备的示意图。参阅图1所示，所述电子设备1包括，但不仅限于，存储器11和至少一个处理器12上述元件之间可以通过通讯总线13连接，也可以直接连接。
[0019]所述电子设备1可以是计算机、手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)等安装有应用程序的设备。本领域技术人员可以理解，所述示意图1仅仅是电子设备1的示例，并不构成对电子设备1的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备1还可以包括输入输出设备、网络接入设备、总线等。
[0020]如图2所示，是本申请自动化任务排程方法的较佳实施例的流程图。所述自动化任务排程方法应用在所述电子设备1中。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。在本实施方式中，所述自动化任务排程方法包括：
[0021]S21、获取数据处理任务及数据源。
[0022]一个具备任务排程及数据收集能力的自动化数据分析引擎架构，可自动安排任务进行以降低资源空闲时间，并针对数据进行自动化的收集，令用户透过熟悉的数据储存方式，即可进行数据分析。为了实现自动化任务排程，需要收集数据处理任务和数据源。
[0023]在本申请的一个实施例中，可以通过客户端收集用户发布的数据处理任务，也可以直接通过所述电子设备收集数据处理任务。并将收集到的数据处理任务存储在所述电子设备中。所述数据处理任务包括以下一种或多种的组合：与外界进行交互，读取各种文件(txt，csv，doc)和数据库中的数据准备；对数据进行加工处理，清洗、变形等以便以后进行数据分析转换；做一些数学和统计的计算，产生一个新的数据集；建模和计算，将数据应用到统计模型、机器学习或其他计算工具中展示；生成图表、图片、文字摘要等。例如，所述数据处理任务为检测目标图像中的人脸。
[0024]在本申请的一个实施例中，所述数据源为进行数据处理时需要用到的基础数据。例如，当所述数据处理任务为检测目标图像中的人脸时，所述数据源为所述目标图像。
[0025]在本申请的一个实施例中，所述获取数据源包括以下一种或多种的组合：接收用户通过服务器接口发送的数据源；接收用户通过客户端接口发送的数据源；接收用户通过档案储存协议发送的数据源。
[0026]S22、根据所述数据处理任务生成作业队列。
[0027]为了高效有序的对数据源执行数据处理任务，需要将所述数据处理任务拆分成多个作业任务，再根据所述作业任务生成所述作业队列。
[0028]在本申请的一个实施例中，所述根据所述数据处理任务生成作业队列包括：
[0029本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自动化任务排程方法，其特征在于，所述自动化任务排程方法包括：获取数据处理任务及数据源；根据所述数据处理任务生成作业队列；从所述作业队列中依次提取作业任务；根据提取到的作业任务分配计算资源；基于所述数据源，通过预先训练完成的模型得到数据处理任务结果。2.根据权利要求1所述的自动化任务排程方法，其特征在于，所述数据源的获取包括以下一种或多种的组合：接收通过服务器接口发送的数据源；接收通过客户端接口发送的数据源；接收通过档案储存协议发送的数据源。3.根据权利要求1所述的自动化任务排程方法，其特征在于，所述根据所述数据处理任务生成作业队列包括：拆分所述数据处理任务为所述作业任务；为所述作业任务建立逻辑依赖关系；设置每个所述作业任务的执行频率；根据所述作业任务、所述逻辑依赖关系和所述执行频率生成所述作业队列。4.根据权利要求3所述的自动化任务排程方法，其特征在于，所述从所述作业队列中依次提取所述作业任务包括：根据所述逻辑依赖关系确定作业顺序；根据所述作业顺序从所述作业队列中依次提取所述作业任务。5.根据权利要求4所述的自动化任务排程方法，其特征在于，所述根据提取到的作业任务分配计算资源包括：获取每个所述作业任务的资源用量；基于所述资源用量，获取资源许可时间点；在所述资源许可时间点将所述计算资源分配给所述提取到的作业任务。6.根据权利要求5所述的自动化任务排程方法，其特征在于，所述在所述资源许可时间点将所述计算资源分配给所述提...

【专利技术属性】
技术研发人员：江启钧，樊绍萱，
申请(专利权)人：深圳富联富桂精密工业有限公司，
类型：发明
国别省市：