任务处理方法、装置、系统、计算机设备和存储介质制造方法及图纸

本申请涉及一种任务处理方法、装置、系统、计算机设备和存储介质，所述方法包括：获取包括有目标服务标识和目标集群标识的任务信息，并基于任务信息生成待处理任务；确定与目标集群标识对应的目标集群中各边缘节点的节点信息；基于节点信息和任务信息，从至少一个边缘节点中筛选出与待处理任务相匹配的目标边缘节点；将待处理任务发送至目标边缘节点，以触发目标边缘节点从目标集群中的至少一个设备处获取待处理数据，并根据预先部署的与目标服务标识对应的目标算法服务对待处理数据进行处理；接收目标边缘节点返回的数据处理结果，并基于数据处理结果确定与待处理任务对应的任务处理结果。采用本方法能够节约带宽资源。任务处理结果。采用本方法能够节约带宽资源。任务处理结果。采用本方法能够节约带宽资源。

【技术实现步骤摘要】
任务处理方法、装置、系统、计算机设备和存储介质


[0001]本申请涉及计算机
，特别是涉及一种任务处理方法、装置、系统、计算机设备和存储介质。

技术介绍

[0002]随着科学技术的发展，任务的处理变得越来越频繁。目前，当需要对任务进行处理时，一般是通过终端获取与待处理任务相关的待处理数据，并将待处理数据直接上报至云端，由云端统一完成海量数据的接收，并对接收到的海量数据进行处理，得到任务处理结果。比如，在智慧零售领域，一般会在终端侧架设多个摄像头，当需要对商场的客流量进行统计时，每个终端侧的摄像头均会将采集得到的海量图像上报至云端，从而云端通过预先部署的机器学习模型对接收到的海量图像进行图像处理，以确定商场的客流量。
[0003]然而，若直接将终端侧采集得到的海量待处理数据上报至云端，则需要非常大的云
‑
端带宽，从而耗费大量的带宽资源。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够节约带宽资源的任务处理方法、装置、系统、计算机设备、存储介质和计算机程序产品。
[0005]一种任务处理方法，应用于服务器，所述方法包括：
[0006]获取包括有目标服务标识和目标集群标识的任务信息，并基于所述任务信息生成待处理任务；
[0007]确定与所述目标集群标识对应的目标集群中各边缘节点的节点信息；所述目标集群中包括部署在预设区域内的至少一个边缘节点和至少一个边缘终端；
[0008]基于所述节点信息和所述任务信息，从所述至少一个边缘节点中筛选出与所述待处理任务相匹配的目标边缘节点；
[0009]将所述待处理任务发送至所述目标边缘节点，以触发所述目标边缘节点从所述目标集群中的至少一个设备处获取待处理数据，并根据预先部署的与所述目标服务标识对应的目标算法服务对所述待处理数据进行处理；
[0010]接收所述目标边缘节点返回的数据处理结果，并基于所述数据处理结果确定与所述待处理任务对应的任务处理结果。
[0011]一种任务处理装置，所述装置包括：
[0012]任务生成模块，用于获取包括有目标服务标识和目标集群标识的任务信息，并基于所述任务信息生成待处理任务；
[0013]节点确定模块，用于确定与所述目标集群标识对应的目标集群中各边缘节点的节点信息；所述目标集群中包括部署在预设区域内的至少一个边缘节点和至少一个边缘终端；基于所述节点信息和所述任务信息，从所述至少一个边缘节点中筛选出与所述待处理任务相匹配的目标边缘节点；
[0014]数据接收模块，用于将所述待处理任务发送至所述目标边缘节点，以触发所述目标边缘节点从所述目标集群中的至少一个设备处获取待处理数据，并根据预先部署的与所述目标服务标识对应的目标算法服务对所述待处理数据进行处理；接收所述目标边缘节点返回的数据处理结果，并基于所述数据处理结果确定与所述待处理任务对应的任务处理结果。
[0015]一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现本申请实施例提供的任一种任务处理方法中的步骤。
[0016]一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例提供的任一种任务处理方法中的步骤。
[0017]一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例提供的任一种任务处理方法中的步骤。
[0018]上述任务处理方法、装置、计算机设备、存储介质和计算机程序，通过获取任务信息，可基于任务信息生成待处理任务。通过获取任务信息中的目标集群标识，可基于目标集群标识优先筛选出目标集群中的各边缘节点的节点信息，从而后续只需将任务信息与目标集群内的各边缘节点的节点信息进行信息匹配，即可得到相匹配的目标边缘节点，而无需将任务信息与全部的边缘节点信息均进行信息匹配，如此大大提升了信息匹配的匹配效率。通过确定与待处理任务相匹配的目标边缘节点，可将待处理任务发送至目标边缘节点，以触发目标边缘节点获取待处理数据，并根据预先部署的目标算法服务对待处理数据进行处理，得到数据处理结果。由于目标边缘节点是与待处理任务相匹配的，因此，通过目标边缘节点执行待处理任务，可提升待处理任务的处理成功率，得到正确的数据处理结果。通过接收目标边缘节点返回的数据处理结果，可基于数据处理结果确定与待处理任务对应的任务处理结果，如此，便实现了任务的处理。由于本申请是直接通过边缘节点完成待处理数据的处理，再将数据处理结果返回至服务器，而数据处理结果的数据大小一般小于待处理数据的数据大小，因此，相比于传统的将待处理数据发送至服务器，本申请可节约数据发送时所耗费的带宽资源。
[0019]一种任务处理方法，应用于边缘节点，所述方法包括：
[0020]接收服务器下发的待处理任务；其中，所述待处理任务为服务器基于待处理任务的任务信息中的目标集群标识选中目标集群后，基于目标集群中各个边缘节点的节点信息与所述任务信息的匹配程度，从而选中与所述待处理任务相匹配的边缘节点后下发至选中的边缘节点的；
[0021]确定所述目标集群中与所述边缘节点部署于相同区域中的边缘终端；
[0022]从所述边缘终端、以及所述目标集群中除自身之外的其他边缘节点中的至少一个设备处，获取待处理数据，并调用与所述任务信息中的目标服务标识相对应的目标算法服务，对所述待处理数据进行处理，得到数据处理结果；
[0023]将所述数据处理结果返回至服务器，以使服务器通过所述数据处理结果确定与所述待处理任务对应的任务处理结果。
[0024]一种任务处理装置，包括
[0025]任务接收模块，用于接收服务器下发的待处理任务；其中，所述待处理任务为服务器基于待处理任务的任务信息中的目标集群标识选中目标集群后，基于目标集群中各个边缘节点的节点信息与所述任务信息的匹配程度，从而选中与所述待处理任务相匹配的边缘节点后下发至选中的边缘节点的；
[0026]处理结果确定模块，用于确定所述目标集群中与所述边缘节点部署于相同区域中的边缘终端；从所述边缘终端、以及所述目标集群中除自身之外的其他边缘节点中的至少一个设备处，获取待处理数据，并调用与所述任务信息中的目标服务标识相对应的目标算法服务，对所述待处理数据进行处理，得到数据处理结果；
[0027]结果返回模块，用于将所述数据处理结果返回至服务器，以使服务器通过数据处理结果确定与所述待处理任务对应的任务处理结果。
[0028]一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现本申请实施例提供的任一种任务处理方法中的步骤。
[0029]一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例提供的任本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务处理方法，其特征在于，应用于服务器，所述方法包括：获取包括有目标服务标识和目标集群标识的任务信息，并基于所述任务信息生成待处理任务；确定与所述目标集群标识对应的目标集群中各边缘节点的节点信息；所述目标集群中包括部署在预设区域内的至少一个边缘节点和至少一个边缘终端；基于所述节点信息和所述任务信息，从所述至少一个边缘节点中筛选出与所述待处理任务相匹配的目标边缘节点；将所述待处理任务发送至所述目标边缘节点，以触发所述目标边缘节点从所述目标集群中的至少一个设备处获取待处理数据，并根据预先部署的与所述目标服务标识对应的目标算法服务对所述待处理数据进行处理；接收所述目标边缘节点返回的数据处理结果，并基于所述数据处理结果确定与所述待处理任务对应的任务处理结果。2.根据权利要求1所述的方法，其特征在于，所述获取包括有目标服务标识和目标集群标识的任务信息，并基于所述任务信息生成待处理任务，包括：当获取得到业务执行指令时，对所述业务执行指令进行解析，得到所述业务执行指令的指令信息；所述指令信息包括有至少一个任务信息；分别基于每个所述任务信息中的目标集群标识、以及与所述目标集群标识相对应的至少一个目标服务标识，生成相应的待处理任务。3.根据权利要求1所述的方法，其特征在于，所述确定与所述目标集群标识对应的目标集群中各边缘节点的节点信息，包括：从节点信息库中筛选出包含有目标集群标识的候选节点信息；其中，所述节点信息库存储有每个集群上报的各自所包括的边缘节点的节点信息；将所述候选节点信息作为与所述目标集群标识对应的目标集群中各边缘节点的节点信息。4.根据权利要求1所述的方法，其特征在于，所述基于所述节点信息和所述任务信息，从所述至少一个边缘节点中筛选出与所述待处理任务相匹配的目标边缘节点，包括：从所述节点信息中筛选出包括有所述目标服务标识和目标状态标识的目标候选节点信息；其中，所述目标状态标识表征相应边缘节点处于正常运行状态；从所述目标候选节点信息中筛选出资源量满足空闲条件的目标节点信息；将与所述目标节点信息相对应的边缘节点，作为与所述待处理任务相匹配的目标边缘节点。5.根据权利要求1所述的方法，其特征在于，所述接收所述目标边缘节点返回的数据处理结果，并基于所述数据处理结果确定与所述待处理任务对应的任务处理结果，包括：接收所述目标边缘节点返回的数据处理结果，并将所述数据处理结果中的结构化数据存储至存储队列、以及将非结构化数据存储至数据库；当满足处理条件时，从所述存储队列中提取出与所述待处理任务对应的结构化数据、以及从所述数据库中提取出与所述待处理任务对应的非结构化数据；对提取出的所述结构化数据和所述非结构化数据进行处理，得到所述待处理任务的任务处理结果。
6.根据权利要求1所述的方法，其特征在于，所述待处理任务至少包括客流统计任务、视频质检任务和图像解码任务中的一种；所述客流统计任务的任务信息中至少包括取流解码服务标识、人脸人体检测服务标识和轨迹识别服务标识中的一种，所述视频质检任务的任务信息中至少包括取流解码服务标识、人脸人体检测服务标识和动作识别服务标识中的一种，所述图像解码任务的任务信息中包括取流解码服务标识。7.根据权利要求6所述的方法，其特征在于，所述数据处理结果包括轨迹数据、动作识别数据、图像解码数据；所述接收所述目标边缘节点返回的数据处理结果，并基于所述数据处理结果确定与所述待处理任务对应的任务处理结果，包括：当所述待处理任务为客流统计任务时，接收所述目标边缘节点返回的轨迹数据，并基于所述轨迹数据得到统计区域内的客流量；当所述待处理任务为视频质检任务时，接收所述目标边缘节点返回的动作识别数据，并基于所述动作识别数据得到视频质检结果；当所述待处理任务为图像解码任务时，接收所述目标边缘节点返回的图像解码数据，基于所述图像解码数据得到图像解码结果。8.根据权利要求1至7中任一项所述的方法，其特征在于，所述方法还包括：从镜像仓库中获取至少一个待发布算法服务的服务镜像，并通过指定的发布资源对每个所述算法服务镜像进行发布处理，得到目标服务镜像；确定各所述目标服务镜像各自对应的待调度集群和待调度边缘节点；将所述目标服务镜像下发至所述待调度集群中的待调度边缘节点，使得每个边缘节点均运行各自接收的目标服务镜像以提供相应的算法服务。9.一种任务处理方法，其特征在于，应用于边缘节点，所述方法包括：接收服务器下发的待处理任务；其中，所述待处理任务为服务器基于待处理任务的任务信息中的目标集群标识选中目标集群后，基于目标集群中各个边缘节点的节点信息与所述任务信息的匹配程度，从而选中与所述待处理任务相匹配的边缘节点后下发至选中的边缘节点的；确定所述目标集群中与所述边缘节点部署于相同区域中的边缘终端；从所述边缘终端、以及所述目标集群中除自身之外的其他边缘节点中的至少一个设备处，获取待处理数据，并调用与所述任务信息中的目标服务标识相对应的目标算法服务，对所述待处理数据进行处理，得到数据处理结果；将所述数据处理结果返回至服务器，以使服务器通过所述数据处理结果确定与所述待处理任务对应的任务处理结果。10.根据权利要求9所述的方法，其特征在于，所述调用与所述任务信息中的目标服务标识相对应的目标算法服务，对所述...

【专利技术属性】
技术研发人员：严石伟，丁凯，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：