【技术实现步骤摘要】
本专利技术涉及分布式任务调度，更具体地，涉及一种分布式任务调度方法及平台。
技术介绍
1、现有的软件服务已逐渐往“轻客户端、重服务端”方向演变，即将原本需要在单机上处理的任务，提交到服务端进行计算，这也就对服务端主机的计算能力提出了较高的要求。不同于采用单机时计算能力受限，通过分布式串联多主机的计算资源，能有效提升计算任务的并行计算能力。
2、当前市面上常采用的分布式大数据处理框架有hadoop、flink，但其从部署到使用具有较高的学习成本，且存在兼容性问题，如hadoop是基于容器化运行的方式，其对部分操作系统(如windows环境)的支持并不友好，并且涉及到需要使用显卡的任务时，容器化运行无法支持显卡；而flink虽然运行任务相对hadoop简单，但其需要针对业务进行定制逻辑开发，对业务逻辑的兼容性不佳。此外，现有的分布式大数据处理框架需要部署至较大规模的服务器集群才可正常执行与调度任务，且多为定时任务，计算时效性差，计算成本高。
技术实现思路
1、本专利技术为克服上述现有技术所述的兼容性不佳、计算时效性差的缺陷，提供一种分布式任务调度方法及平台。
2、为解决上述技术问题，本专利技术的技术方案如下：
3、第一方面，一种分布式任务调度方法，应用于分布式任务调度系统，所述分布式任务调度系统包括配置有统一访问接口的服务端和存储端；所述服务端部署于若干个分布式任务节点；
4、所述方法包括：
5、通过所述统一访问接口接收计算任
6、将所述计算任务对应的所述任务执行信息发布至任务队列，并发布任务异步计算通知；所述任务队列记录于所述存储端；
7、令可用的分布式任务节点响应于所述任务异步计算通知，尝试获取任务队列分布式锁；
8、令成功获取所述任务队列分布式锁的所述分布式任务节点从所述任务队列中获取任务执行信息，根据所述任务执行信息执行任务计算进程以得到任务成果，并同步更新所述任务状态信息；
9、定时触发检查任务计算情况，根据检查结果进行任务重计算确认。
10、第二方面，一种分布式任务调度平台，应用第一方面所述方法，包括：
11、任务接收模块，用于通过所述统一访问接口接收计算任务，生成对应的任务信息，所述任务信息包括任务状态信息和任务执行信息；还用于将所述计算任务对应的所述任务执行信息发布至任务队列，并发布任务异步计算通知；
12、消息通信触发模块，用于令可用的分布式任务节点响应于所述任务异步计算通知，尝试获取任务队列分布式锁；还用于令成功获取所述任务队列分布式锁的所述分布式任务节点从所述任务队列中获取任务执行信息，根据所述任务执行信息执行任务计算进程以得到任务成果，并同步更新所述任务状态信息；
13、定时器，用于定时触发检查任务计算情况，根据检查结果进行任务重计算确认。
14、第三方面，一种计算机程序产品，包括计算机程序或计算机可执行指令，所述计算机程序或计算机可执行指令被处理器执行时，实现第一方面所述方法。
15、与现有技术相比，本专利技术技术方案的有益效果是：
16、本专利技术提出了一种分布式任务调度框架，应用于由统一的服务端和存储端组成的分布式任务调度系统，各个分布式任务节点通过存储端互联。由于统一访问接口的设置，服务端仅需通过所述统一访问接口接收计算任务，并在存储端生成任务信息和任务队列，通过任务异步计算通知使分布式任务节点竞争分布式锁从而访问任务队列，进而根据任务执行信息调用业务逻辑接口进行任务计算，兼容性好，且可适应于非定时任务，强化了计算时效性，并降低了整体的计算成本，特别适用于机房式小集群。
本文档来自技高网...【技术保护点】
1.一种分布式任务调度方法，其特征在于，应用于分布式任务调度系统，所述分布式任务调度系统包括配置有统一访问接口的服务端和存储端；所述服务端部署于若干个分布式任务节点；
2.根据权利要求1所述的一种分布式任务调度方法，其特征在于，所述任务信息还包括任务输入参数；
3.根据权利要求2所述的一种分布式任务调度方法，其特征在于，在生成所述任务信息之后、发布所述任务执行信息之前，所述方法还包括：根据所述任务输入参数判断是否需要进行同步计算：若是，则进入同步计算逻辑中，并更新所述任务状态信息；否则，将所述任务执行信息发布至所述任务队列，进入异步计算逻辑。
4.根据权利要求1所述的一种分布式任务调度方法，其特征在于，所述定时触发检查任务计算情况，根据检查结果进行任务重计算确认，包括：
5.根据权利要求1所述的一种分布式任务调度方法，其特征在于，所述分布式任务节点在尝试获取所述任务队列分布式锁后，
6.根据权利要求1所述的一种分布式任务调度方法，其特征在于，还包括：
7.根据权利要求6所述的一种分布式任务调度方法，其特征在于
8.根据权利要求1-7任一项所述的一种分布式任务调度方法，其特征在于，所述存储端包括基于关系型数据库实现的数据库服务端、基于带有消息通知功能的缓存数据库实现的数据缓存服务端以及采用共享机制实现的数据存储服务端；其中，
9.一种分布式任务调度平台，应用权利要求1-8任一项所述方法，其特征在于，包括：
10.一种计算机程序产品，包括计算机程序或计算机可执行指令，其特征在于，所述计算机程序或计算机可执行指令被处理器执行时，实现权利要求1-8任一项所述方法。
...【技术特征摘要】
1.一种分布式任务调度方法，其特征在于，应用于分布式任务调度系统，所述分布式任务调度系统包括配置有统一访问接口的服务端和存储端；所述服务端部署于若干个分布式任务节点；
2.根据权利要求1所述的一种分布式任务调度方法，其特征在于，所述任务信息还包括任务输入参数；
3.根据权利要求2所述的一种分布式任务调度方法，其特征在于，在生成所述任务信息之后、发布所述任务执行信息之前，所述方法还包括：根据所述任务输入参数判断是否需要进行同步计算：若是，则进入同步计算逻辑中，并更新所述任务状态信息；否则，将所述任务执行信息发布至所述任务队列，进入异步计算逻辑。
4.根据权利要求1所述的一种分布式任务调度方法，其特征在于，所述定时触发检查任务计算情况，根据检查结果进行任务重计算确认，包括：
5.根据权利要求1所述的一种分布式任务调度方法，其特征在于，所述分布式任务节点在尝试获取所...
【专利技术属性】
技术研发人员：颜丽玲，郝志刚，黄海锋，闫志愿，杜卫钢，
申请(专利权)人：广州南方测绘科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。