【技术实现步骤摘要】
本申请涉及计算机领域，尤其涉及一种数据处理方法、装置、设备、系统及可读存储介质。
技术介绍
1、在由大量网络设备组成的网络中，通常采用探针对网络设备的关键指标等数据进行采集，并对采集的数据进行处理和展示，从而实现大量网络设备的异常监测。
2、现有的探针部署方式的目的是如何使用尽量少的探针实现对大量网络设备的数据采集，或如何保证探针能够覆盖所有的网络设备。在云计算等网络设备数量远超过探针数量的场景下，现有的探针部署方式为了提高探针利用率或探针覆盖率，会利用部分探针承担较多网络设备的监测任务。若负载较大探针发生故障，将发生故障的探针的负载转移到未发生故障的探针，容易导致后者无法承担原本负载和转以后负载的总和，从而继续进行负载转移引发大量探针的负载崩溃，存在数据采集性能的稳定性较差的问题。
技术实现思路
1、本申请实施例提供一种数据处理方法、装置、设备、系统及可读存储介质，能够解决探针部署存在数据采集性能的稳定性较差的问题。
2、第一方面，提供一种数据处理方法，该数据处理方法包括：计算设备为网络设备分配探针来对网络设备进行监测时，计算设备将多个探针和多个网络设备映射于包含按照指定顺序依次排列的多个映射点位的映射模型上，映射点位是多个点位中的点位，来确定多个网络设备和多个探针在映射模型上的映射点位，再将多个网络设备中的第一网络设备分配给多个探针中的第一探针，第一探针是该映射模型上沿指定顺序与第一网络设备预设距离内的探针，即针对网络设备，以该网络设备的映射点位为起点在
3、基于上述数据处理方法，基于映射点位将网络设备分配给该网络设备在映射模型上沿指定顺序邻近的探针，因此映射模型上每个预设距离的点位包含的探针之间的网络设备被分配给映射模型上沿指定顺序处于预设距离内的可用探针，即以探针为分段节点将映射模型上的网络设备进行分段分配，减少出现一个探针被分配大量网络设备的情况。由此，一个探针发生故障后，针对故障探针负责监测的网络设备，只需要将此部分网络设备转移至非故障探针，对较少部分的负载进行转移，不会将所有网络设备的监测任务集中到一个探针上，避免了负载转移引发探针出现负载崩溃的问题，提高了数据采集的稳定性。
4、其中，映射模型可以是哈希环，网络设备和探针的标识值经哈希函数计算的哈希值映射于哈希环上得到映射点位。
5、作为一种可能的实现方式，待处理的多个网络设备和多个探针可以全部属于同一网络区域，也可以是由属于多个网络区域的网络设备和探针组成的集合。若多个网络设备和多个探针属于不同的网络区域，计算设备多个网络设备和多个探针分区段映射于映射模型上，即将多个网络设备和多个探针中属于同一网络区域的网络设备和探针映射于映射模型的同一区段，得到网络设备和探针在映射模型上的映射点位。其中，不同的网络区域可以是根据地理位置、覆盖范围等划分的，例如城市a的网络设备和探针，以及城市b的网络设备和探针，分别属于不同的网络区域。
6、由此，在根据映射模型上距离由近至远的顺序将网络设备分配给探针后，由于属于同一网络区域的网络设备和探针映射在映射模型的同一个区段内，一个区段的网络设备通常被分配给相同区段的探针。因此，减少了用一个区段的探针对另一区段的网络设备进行跨区段监测的概率，而是在一个网络区域对应的区段内，利用本网络区域的探针对本网络区域的网络设备进行监测，例如使用位于城市a的探针对位于城市a的网络设备进行监测，从而减少了探针对网络设备进行监测的网络时延。
7、可选地，计算设备根据不同网络区域的数量、数据传输质量等对映射模型的不同区段进行配置。计算设备将映射模型划分为与网络区域的个数相同数量的区段，即网络区域的个数和映射模型的区段的个数相同，再根据不同网络区域之间的网络质量指标值确定多个区段在映射模型上的连接顺序。由此，按照不同网络区域之间的网络质量指标值设置各个网络区域对应的区段在映射模型上的连接顺序，即使基于网络设备与探针在映射模型上的距离由近至远的顺序，将一个区段的网络设备分配给相邻的下一区段的探针，也能够保证探针对网络设备进行跨区段数据采集的网络时延较低。
8、其中，网络质量指标值包括网络时延、吞吐量、网络抖动率和丢包率中的至少一种。以网络服务指标值为网络延迟为例，多个网络设备和多个探针归属于5个网络区域即网络区域a-网络区域e，映射模型包括5个区段，从网络区域a开始，确定与网络区域a的网络延迟最低的网络区域是网络区域e，与网络区域e的网络延迟最低的网络区域(网络区域a除外)是网络区域c，与网络区域c的网络延迟最低的网络区域(网络区域a、网络区域e除外)是网络区域b，剩下的网络区域d与网络区域a之间的网络延迟最低，则确定网络区域a-网络区域e对应的区段在映射模型上的连接顺序为：网络区域a—>网络区域e—>网络区域c—>网络区域b—>网络区域d—>网络区域a。其中，计算设备可以根据各个网络区域的网络设备和/或探针的数量确定映射模型的起始区段，例如网络区域a包含的网络设备和/或探针的数量最多，则计算设备将网络区域a对应的区段作为映射模型上的起始区段。
9、作为一种可能的实现方式，映射模型上的每个区段可以划分为第一子区段和第二子区段，且按照指定顺序，第二子区段处于第一子区段之后。计算设备将网络设备和探针映射至映射模型的多个区段中的一个区段中时，将网络设备映射至该区段的第一子区段，将探针映射至该区段的第一子区段和第二子区段。针对一个区段，由于第二子区段仅映射有探针，计算设备在对第一子区段末尾的网络设备进行分配，即将末尾的网络设备沿指定顺序分配给探针时，会优先将网络设备分配给第二子区段中的探针，从而减少跨区域分配的概率，进而提升了监测任务的稳定性。
10、可选地，本实施例中将网络设备和探针被映射于映射模型上的映射值划分为两部分来分别表示区段和具体的映射点位。例如，映射模型为哈希环时，映射值为网络设备和探针的哈希值，哈希值的0至k位用于表示映射点位，k至m位用于表示区段，m是哈希值的最高位，k是小于m的正整数。因此，网络设备或探针的映射值越大，说明网络设备或探针在映射模型上的位置沿指定顺序越靠后。
11、作为一种可能的实现方式，计算设备对一个区段的网络设备进行分配时，第一网络设备的映射点位和第一探针的映射点位之间的点位间隔小于预设距离，该预设距离可以根据负载均衡需求和/或探针状态进行灵活调节。在预设距离内，第一探针可以是映射模型上沿指定顺序与第一网络设备最近的探针，也可以是映射模型上沿指定顺序与第一网络设备第二近或第三近的探针。例如，第一探针为映射点位与第一网络设备的映射点位最近的探针，计算设备首先确定映射模型上相邻两个探针之间的未分配网络设备，然后确定第一网络设备为映射模型中与第二探针最近的未分配网络设备，基于指定顺序确定第一探针为映射模型上与第一网络设备本文档来自技高网...
【技术保护点】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述多个网络设备和所述多个探针属于不同的网络区域，所述确定多个网络设备和多个探针在映射模型上的映射点位，包括：
3.根据权利要求2所述的方法，其特征在于，所述将所述映射模型划分为多个区段，包括：
4.根据权利要求3所述的方法，其特征在于，所述网络质量指标值包括时延、吞吐量、抖动率和丢包率中的至少一种。
5.根据权利要求2-4中任一项所述的方法，其特征在于，所述多个区段中每个区段沿所述指定顺序依次设置有第一子区段和第二子区段，所述确定多个网络设备和多个探针在映射模型上的映射点位，包括：
6.根据权利要求2-5中任一项所述的方法，其特征在于，所述多个网络设备和所述多个探针的映射点位的映射值包括用于表示区段的部分，以及用于表示映射点位的部分。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述根据所述映射点位，将所述多个网络设备中的第一网络设备分配给所述映射模型上沿所述指定顺序与所述第一网络设备的点位间隔小于预设距离的第一探
8.根据权利要求7所述的方法，其特征在于，所述可用状态表示探针未达到对网络设备进行数据采集的负载上限，和/或探针处于正常运行状态。
9.根据权利要求1-8中任一项所述的方法，其特征在于，所述映射模型为哈希环。
10.根据权利要求9所述的方法，其特征在于，所述确定多个网络设备和多个探针在映射模型上的映射点位，包括：
11.一种数据处理装置，其特征在于，包括：
12.根据权利要求11所述的装置，其特征在于，所述多个网络设备和所述多个探针属于不同的网络区域，所述映射模块具体用于：
13.根据权利要求12所述的装置，其特征在于，所述映射模块具体用于：
14.根据权利要求13所述的装置，其特征在于，所述网络质量指标值包括时延、吞吐量、抖动率和丢包率中的至少一种。
15.根据权利要求12-14中任一项所述的装置，其特征在于，所述多个区段中每个区段沿所述指定顺序依次设置有第一子区段和第二子区段，所述映射模块具体用于：
16.根据权利要求12-15中任一项所述的装置，其特征在于，所述多个网络设备和所述多个探针的映射点位的映射值包括用于表示区段的部分，以及用于表示映射点位的部分。
17.根据权利要求11-16中任一项所述的装置，其特征在于，所述分配模块具体用于：
18.根据权利要求17所述的装置，其特征在于，所述可用状态表示探针未达到对网络设备进行数据采集的负载上限，和/或探针处于正常运行状态。
19.根据权利要求11-18中任一项所述的装置，其特征在于，所述映射模型为哈希环。
20.根据权利要求19所述的装置，其特征在于，所述映射模块具体用于：
21.一种计算设备，其特征在于，所述计算设备包括存储器和至少一个处理器，所述存储器用于存储一组计算机指令；当所述处理器执行所述一组计算机指令时，执行上述权利要求1-10中任一所述的方法的操作步骤。
22.一种计算机系统，其特征在于，所述计算机系统包括多个网络设备、多个探针以及如权利要求21所述的计算设备，所述计算设备用于根据所述多个网络设备的信息和所述多个探针的数据，执行上述权利要求1-10中任一所述的方法的操作步骤。
23.一种可读存储介质，其特征在于，所述可读存储介质包括计算机程序或指令，当所述计算机程序或指令在计算机上运行时，使得所述计算机执行上述权利要求1-10中任一所述的方法的操作步骤。
...【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述多个网络设备和所述多个探针属于不同的网络区域，所述确定多个网络设备和多个探针在映射模型上的映射点位，包括：
3.根据权利要求2所述的方法，其特征在于，所述将所述映射模型划分为多个区段，包括：
4.根据权利要求3所述的方法，其特征在于，所述网络质量指标值包括时延、吞吐量、抖动率和丢包率中的至少一种。
5.根据权利要求2-4中任一项所述的方法，其特征在于，所述多个区段中每个区段沿所述指定顺序依次设置有第一子区段和第二子区段，所述确定多个网络设备和多个探针在映射模型上的映射点位，包括：
6.根据权利要求2-5中任一项所述的方法，其特征在于，所述多个网络设备和所述多个探针的映射点位的映射值包括用于表示区段的部分，以及用于表示映射点位的部分。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述根据所述映射点位，将所述多个网络设备中的第一网络设备分配给所述映射模型上沿所述指定顺序与所述第一网络设备的点位间隔小于预设距离的第一探针，包括：
8.根据权利要求7所述的方法，其特征在于，所述可用状态表示探针未达到对网络设备进行数据采集的负载上限，和/或探针处于正常运行状态。
9.根据权利要求1-8中任一项所述的方法，其特征在于，所述映射模型为哈希环。
10.根据权利要求9所述的方法，其特征在于，所述确定多个网络设备和多个探针在映射模型上的映射点位，包括：
11.一种数据处理装置，其特征在于，包括：
12.根据权利要求11所述的装置，其特征在于，所述多个网络设备和所述多个探针属于不同的网络区域，所述映射模块具体用于：
13.根据权利要求1...
【专利技术属性】
技术研发人员：张宏宇，
申请(专利权)人：华为云计算技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。