【技术实现步骤摘要】
本专利技术提出了一种边缘云数据处理方法及系统，属于智能调取。
技术介绍
1、在当前技术环境下，数据处理任务通常集中在边缘节点进行执行。这一趋势的背后有着多种原因。首先，边缘计算的兴起使得在离数据源更近的位置执行计算任务成为可能，从而减少了数据传输的时延，提高了整体的系统响应速度。其次，边缘计算还有助于在网络较为拥挤或不稳定的情况下，有效降低对中心化云服务的依赖，提高了系统的鲁棒性。
2、然而，随着数据处理任务的集中进行，一些问题也逐渐显现。其中之一是数据处理延时的明显增加。由于任务执行在边缘节点内完成，特别是在处理大规模数据时，可能导致较大的计算负担和显著的延迟。这一问题尤其在对实时性要求较高的应用场景下表现得更为突出，如工业自动化、智能交通等领域。
3、另一个问题是数据冗余量的增加。在边缘节点执行数据处理任务时，可能出现不同任务之间存在重复计算的情况，导致数据冗余。这是因为各个边缘节点之间通常是相对独立的，缺乏有效的协同机制，无法充分共享已处理的数据结果。这种数据冗余不仅浪费了计算资源，也增加了数据传输的负担，影响了系统的整体效率和性能。
4、目前已经开发了一些解决上述问题的方法：
5、数据共享和同步机制：引入数据共享和同步机制，使得边缘节点之间能够共享已处理的数据结果，减少冗余计算。但数据共享和同步可能引入额外的通信开销，并要解决数据一致性和安全性等问题。在移动环境下，网络不稳定性可能使得共享机制变得更加复杂。
6、分布式计算框架：使用分布式计算框架，如apache
7、边缘节点协同机制：建立边缘节点之间的协同机制，使得它们能够共同处理某些任务，提高整体效率。但协同机制的设计需要解决节点之间通信和任务分工的问题，可能会引入一定的复杂性。同时，节点之间的异构性也是一个挑战，不同节点可能具有不同的计算能力和存储资源。
8、可见，目前的目前这些问题并没有得到有效的解决。
技术实现思路
1、本专利技术提出了一种边缘云数据处理方法及系统，方法更专注于计算任务和内容的分发，从不同角度出发，解决现有技术中数据处理任务的整体任务执行在一个边缘节点内完成，导致数据处理延时较大，并且，数据冗余量较大的问题，所采取的技术方案如下：
2、一种边缘云数据处理方法，所述边缘云数据处理方法包括：
3、针对不同层级对应的客户端设置边缘节点，在不同层级的边缘节点之间建立级联关系；
4、通过边缘节点收集数据源发送的数据处理任务，根据数据处理任务的类型按照任务拆分原则对数据处理任务进行任务拆分处理；
5、边缘节点在接收到数据源的任务结果调取请求后，从边缘节点进行任务结果文件调取。
6、进一步地，在不同层级对应的边缘节点之间建立级联关系，包括：
7、提取所述边缘节点对应的层级；
8、按照层级对所述边缘节点进行归类，获取每种不同层级对应的边缘节点簇；
9、按照层级由低到高的顺序依次由低层级对应的边缘节点向高层级的边缘节点进行第一数据连接通道；
10、在最低层级对应的边缘节点向具有省级数据中转功能的边缘节点之间建立第二数据连接通道；
11、其中，所述第一数据连接通道用于传输静态文件信息；所述第二数据连接通道用于传输动态文件信息。
12、进一步地，通过边缘节点收集数据源发送的数据处理任务，根据数据处理任务的类型按照任务拆分原则对数据处理任务进行任务拆分处理，包括：
13、所述边缘节点收集数据源发送的数据处理任务，并将所述数据处理任务发送至云端；
14、所述云端在接收到所述边缘节点发送的数据处理任务之后，利用深度学习模型识别所述数据处理任务的类型，并将类型判断结果发送至边缘节点，其中，所述数据处理任务的类型包括静态文件处理任务和动态文件处理任务；
15、当所述数据处理任务为静态文件处理任务时，则边缘节点将所述静态文件处理任务进行拆分，形成多个子任务，并将所述多个子任务分发至所述边缘节点对应的下一层级的边缘节点内进行处理，并在下一层级的边缘节点处对数据处理结果进行缓存；
16、当所述数据处理任务为动态文件处理任务时，则边缘节点将所述数据处理任务直接发送至数据源对应的源服务器进行任务处理，实时获取源服务器反馈的任务处理结果；
17、所述边缘节点将接收到的源服务器反馈的任务处理结果进行缓存。
18、进一步地，边缘节点将所述静态文件处理任务进行拆分，形成多个子任务，并将所述多个子任务分发至所述边缘节点对应的下一层级的边缘节点内进行处理，并在下一层级的边缘节点处对数据处理结果进行缓存，包括：
19、所述边缘节点按照静态文件处理任务的任务执行阶段数量进行任务拆分，形成多个子任务；
20、所述边缘节点提取静态文件处理任务的任务执行阶段数量和每个任务执行阶段对应的任务处理所需消耗的资源量，作为第一资源量数据信息；其中，资源量是指处理所述任务执行阶段对应的任务处理所需的内存所占资源；
21、调取所述边缘节点对应的下一层级的边缘节点剩余资源量，作为第二资源量数据信息；
22、利用所述第一资源量数据信息和第二资源量数据信息获取每个下一层级边缘节点的可用价值评估参数，其中，所述可用价值评估参数通过如下公式获取：
23、
24、其中，sj表示第j个下一层级边缘节点的可用价值评估参数；n表示任务执行阶段数量；ri表示第i个任务执行阶段对应的任务处理所需消耗的资源量；rz表示静态文件处理任务完成任务处理所需的总资源量；λi表示第i个任务执行阶段在所述静态文件处理任务中的权重数值；pij表示第j个下一层级边缘节点的处理第i个任务执行阶段的概率；s0表示预设的参数基准值；rf表示第j个下一层级边缘节点剩余资源量；
25、按照所述可用价值评估参数从高到低的顺序调取与所述子任务数量对应的下一层级边缘节点作为目标边缘节点；
26、按照子任务的执行顺序依次将所述子任务发送至对应的目标边缘节点；
27、所述目标边缘节点同时进行子任务处理，并在任务处理完成之后对数据处理子结果进行缓存。
28、进一步地，在接收到数据源的任务结果调取请求后，从边缘节点进行任务结果文件调取，包括：
29、边缘节点在接收到数据源的任务结果调取请求后，提取数据源需要调取的任务结果所处一个或多个目标边缘节点；
30、当所述任务结果缓存至多个目标边缘节点时，调取多个目标边缘节点内各自缓存的数据处理子结果发送至源服务器整合生成完整的数据处理结果；<本文档来自技高网...
【技术保护点】
1.一种边缘云数据处理方法，其特征在于，所述边缘云数据处理方法包括：
2.根据权利要求1所述边缘云数据处理方法，其特征在于，在不同层级对应的边缘节点之间建立级联关系，包括：
3.根据权利要求1所述边缘云数据处理方法，其特征在于，通过边缘节点收集数据源发送的数据处理任务，根据数据处理任务的类型按照任务拆分原则对数据处理任务进行任务拆分处理，包括：
4.根据权利要求3所述边缘云数据处理方法，其特征在于，边缘节点将所述静态文件处理任务进行拆分，形成多个子任务，并将所述多个子任务分发至所述边缘节点对应的下一层级的边缘节点内进行处理，并在下一层级的边缘节点处对数据处理结果进行缓存，包括：
5.根据权利要求1所述边缘云数据处理方法，其特征在于，在接收到数据源的任务结果调取请求后，从边缘节点进行任务结果文件调取，包括：
6.一种边缘云数据处理系统，其特征在于，所述边缘云数据处理系统包括：
7.根据权利要求6所述边缘云数据处理系统，其特征在于，所述边缘节点设置模块包括：
8.根据权利要求6所述边缘云数据处理系统，
9.根据权利要求8所述边缘云数据处理系统，其特征在于，所述拆分执行及缓存模块包括：
10.根据权利要求6所述边缘云数据处理系统，其特征在于，所述任务结果调取模块包括：
...【技术特征摘要】
1.一种边缘云数据处理方法，其特征在于，所述边缘云数据处理方法包括：
2.根据权利要求1所述边缘云数据处理方法，其特征在于，在不同层级对应的边缘节点之间建立级联关系，包括：
3.根据权利要求1所述边缘云数据处理方法，其特征在于，通过边缘节点收集数据源发送的数据处理任务，根据数据处理任务的类型按照任务拆分原则对数据处理任务进行任务拆分处理，包括：
4.根据权利要求3所述边缘云数据处理方法，其特征在于，边缘节点将所述静态文件处理任务进行拆分，形成多个子任务，并将所述多个子任务分发至所述边缘节点对应的下一层级的边缘节点内进行处理，并在下一层级的边缘节点处对数据处理结果进行缓存...
【专利技术属性】
技术研发人员：孙涛，蒋燕秋，朱文涛，
申请(专利权)人：江苏云工场信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。