数据抽稀方法及装置制造方法及图纸

本申请公开的数据抽稀方法及装置，涉及图像处理领域，解决了如何在减少监控数据的数据量的同时，保持监控数据的特征不变的问题。方法包括：服务器根据终端指示的抽稀方式确定第一抽稀步长，根据第一抽稀步长将数据标识指示的监控数据划分为N个分段数据，并根据监控数据的最大值、监控数据的最小值和监控数据的平均值，对N个分段数据中的每个分段数据进行抽稀，得到第一抽稀后的数据，向终端反馈第一抽稀后的数据。其中，查询请求消息包括数据标识和指示信息，数据标识用于指示待查询的监控数据，指示信息用于指示确定第一抽稀步长的方式。N为大于或等于1的整数。N为大于或等于1的整数。N为大于或等于1的整数。

【技术实现步骤摘要】
数据抽稀方法及装置


[0001]本申请涉及图像处理领域，尤其涉及数据抽稀方法及装置。

技术介绍

[0002]目前，为了监控云系统的运行状态，可以为云系统部署一个监控系统，在云系统内的节点(例如，物理主机、虚拟设备等)上部署监控代理，通过监控代理监控节点的运行状态，采集节点的监控数据，并向监控系统上报监控数据，监控系统存储监控数据。当运维人员查看监控数据时，可以将监控数据绘制成曲线，通过监控视图显示曲线，以便于运维人员获知云系统的运行状态。
[0003]在采集监控数据时，可以采用较精细的粒度采集监控数据，例如，以秒为单位采集监控数据。当运维人员查看较长时间的监控数据时，由于监控数据的数据量非常大，导致将监控数据绘制成曲线的性能较低。而且，大多数的监控数据都是云系统的正常运行状态下的数据，不会触发监控告警，运维人员无需关注正常运行状态下的数据，因此，监控数据包含了很多冗余数据。在这种情况下，监控视图需要显示非常多的数据点，降低了曲线的清晰度，导致运维人员查看监控数据时费时费力。
[0004]为了解决上述问题，传统技术中可以采用基于实时数据处理工作流(Spark Streaming)处理监控数据。具体的，可以将监控数据划分为多段，对每段监控数据进行汇聚计算，将汇聚计算后的数据绘制成曲线。例如，计算每段监控数据的平均值，将每段监控数据的平均值绘制成曲线。虽然，监控数据经过汇聚计算后数据点的个数减少了，提高了绘制曲线的性能和曲线的清晰度，但是，汇聚计算后的数据无法准确地表示监控数据的特征，导致运维人员无法及时准确地获知云系统的运行状态的异常情况。因此，如何在减少监控数据的数据量的同时，保持监控数据的特征不变是一个亟待解决的问题。

技术实现思路

[0005]本申请提供一种数据抽稀方法及装置，解决了如何在减少监控数据的数据量的同时，保持监控数据的特征不变的问题。
[0006]为达到上述目的，本申请采用如下技术方案：
[0007]第一方面，本申请提供了一种数据抽稀方法，该方法可应用于服务器，或者该方法可应用于可以支持服务器实现该方法的数据抽稀装置，例如该数据抽稀装置包括芯片系统，方法包括：服务器接收来自终端的查询请求消息后，根据数据标识获取待查询的监控数据，以及根据指示信息指示的方式确定第一抽稀步长，根据第一抽稀步长将监控数据划分为N个分段数据，并根据监控数据的最大值、监控数据的最小值和监控数据的平均值，对N个分段数据中的每个分段数据进行抽稀，得到第一抽稀后的数据，向终端反馈第一抽稀后的数据。其中，查询请求消息包括数据标识和指示信息，数据标识用于指示待查询的监控数据，指示信息用于指示确定第一抽稀步长的方式。N为大于或等于1的整数。
[0008]本申请提供的数据抽稀方法，通过抽稀掉监控数据中的冗余数据，保留监控数据
中的特征数据，从而在减少监控数据的数据量同时，保持监控数据的特征不变。而且将抽稀后的数据绘制成曲线时，有效地提高了绘制曲线的性能，以及提高了浏览器显示曲线的清晰度，进而使运维人员能够及时准确地获知云系统的运行状态的异常情况。
[0009]其中，服务器根据指示信息指示的方式确定第一抽稀步长包括以下两个方式。
[0010]方式一，若指示信息指示第一方式，服务器根据浏览器的页面宽度和一个数据点的宽度确定第一抽稀步长，查询请求消息还包括浏览器的页面宽度和一个数据点的宽度，浏览器用于查询监控数据并显示监控数据。
[0011]具体的，服务器根据浏览器的页面宽度和一个数据点的宽度确定第一期望点数，第一期望点数为浏览器的一行能够显示的数据点数；服务器根据监控数据包括的数据点的个数和第一期望点数确定第一抽稀步长。
[0012]方式二，若指示信息指示第二方式，服务器根据监控数据的显示百分比确定第一抽稀步长，查询请求消息还包括监控数据的显示百分比。
[0013]具体的，服务器根据监控数据的显示百分比和监控数据包括的数据点的个数确定第一期望点数；服务器根据监控数据包括的数据点的个数和第一期望点数确定第一抽稀步长。
[0014]接下来，对监控数据进行抽稀的可能实现方式进行说明。
[0015]在一种可能的实现方式中，服务器根据监控数据的最大值、监控数据的最小值和监控数据的平均值，对N个分段数据中的每个分段数据进行抽稀，得到第一抽稀后的数据，包括：服务器根据监控数据中的最大值与第i个分段数据中的最大值确定第一差值的绝对值，以及根据监控数据中的最小值与第i个分段数据中的最小值确定第二差值的绝对值，i为整数，i∈[1,N]；服务器根据监控数据的平均值与第i个分段数据中的最大值确定第三差值的绝对值，以及根据监控数据的平均值与第i个分段数据中的最小值确定第四差值的绝对值，i为整数，i∈[1,N]；服务器根据第一差值的绝对值、第二差值的绝对值、第三差值的绝对值和第四差值的绝对值确定第i个分段数据中的最大值的权重和第i个分段数据中的最小值的权重；服务器根据第i个分段数据中的最大值的权重和第i个分段数据中的最小值的权重对第i个分段数据进行抽稀，得到第i抽稀后的数据，第一抽稀后的数据包括N个分段数据抽稀后的数据。
[0016]其中，服务器根据第一差值的绝对值、第二差值的绝对值、第三差值的绝对值和第四差值的绝对值确定第i个分段数据中的最大值的权重和第i个分段数据中的最小值的权重，包括：若第一差值的绝对值小于第二差值的绝对值，服务器更新第i个分段数据中的最大值的权重；若第一差值的绝对值大于第二差值的绝对值，服务器更新第i个分段数据中的最小值的权重；若第一差值的绝对值等于第二差值的绝对值，服务器更新第i个分段数据中的最大值的权重和第i个分段数据中的最小值的权重；若第三差值的绝对值大于第四差值的绝对值，服务器更新第i个分段数据中的最大值的权重；若第三差值的绝对值小于第四差值的绝对值，服务器更新第i个分段数据中的最小值的权重；若第三差值的绝对值等于第四差值的绝对值，服务器更新第i个分段数据中的最大值的权重和第i个分段数据中的最小值的权重。
[0017]可选的，服务器根据第一差值的绝对值、第二差值的绝对值、第三差值的绝对值和第四差值的绝对值确定第i个分段数据中的最大值的权重和第i个分段数据中的最小值的
权重，还包括：若第一差值的绝对值等于0，服务器确定第i个分段数据中的最大值的权重为极值权重；若第二差值的绝对值等于0，服务器确定第i个分段数据中的最小值的权重为极值权重。
[0018]在另一种可能的实现方式中，服务器根据第i个分段数据中的最大值的权重和第i个分段数据中的最小值的权重对第i个分段数据进行抽稀，包括：若第i个分段数据中的最大值的权重大于第i个分段数据中的最小值的权重，服务器保留第i个分段数据中的最大值，抽稀第i个分段数据中除最大值之外的其他数据；若第i个分段数据中的最大值的权重小于第i个分段数据中的最小值的权重，服务器保留第i个分段数据中的最小值，抽稀第i个分段数据中除最小值之外的其他数据；若第i个分段数据中的最大值的权重等于第i个分段数据中的最小值的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据抽稀方法，其特征在于，包括：服务器接收来自终端的查询请求消息，所述查询请求消息包括数据标识和指示信息，所述数据标识用于指示待查询的监控数据，所述指示信息用于指示确定第一抽稀步长的方式；所述服务器根据所述指示信息指示的方式确定所述第一抽稀步长；所述服务器根据所述数据标识获取所述待查询的监控数据；所述服务器根据所述第一抽稀步长将所述监控数据划分为N个分段数据，N为大于或等于1的整数；所述服务器根据所述监控数据的最大值、所述监控数据的最小值和所述监控数据的平均值，对所述N个分段数据中的每个分段数据进行抽稀，得到第一抽稀后的数据；所述服务器向所述终端反馈所述第一抽稀后的数据。2.根据权利要求1所述的方法，其特征在于，所述服务器根据所述指示信息指示的方式确定所述第一抽稀步长，包括：若所述指示信息指示第一方式，所述服务器根据浏览器的页面宽度和一个数据点的宽度确定所述第一抽稀步长，所述查询请求消息还包括所述浏览器的页面宽度和所述一个数据点的宽度，所述浏览器用于查询所述监控数据并显示所述监控数据；若所述指示信息指示第二方式，所述服务器根据监控数据的显示百分比确定所述第一抽稀步长，所述查询请求消息还包括所述监控数据的显示百分比。3.根据权利要求2所述的方法，其特征在于，所述服务器根据浏览器的页面宽度和一个数据点的宽度确定所述第一抽稀步长，包括：所述服务器根据所述浏览器的页面宽度和所述一个数据点的宽度确定第一期望点数，所述第一期望点数为所述浏览器的一行能够显示的数据点数；所述服务器根据所述监控数据包括的数据点的个数和所述第一期望点数确定所述第一抽稀步长。4.根据权利要求2所述的方法，其特征在于，所述服务器根据监控数据的显示百分比确定所述第一抽稀步长，包括：所述服务器根据所述监控数据的显示百分比和所述监控数据包括的数据点的个数确定第一期望点数；所述服务器根据所述监控数据包括的数据点的个数和所述第一期望点数确定所述第一抽稀步长。5.根据权利要求1-4中任一项所述的方法，其特征在于，所述服务器根据所述监控数据的最大值、所述监控数据的最小值和所述监控数据的平均值，对所述N个分段数据中的每个分段数据进行抽稀，得到第一抽稀后的数据，包括：所述服务器根据所述监控数据中的最大值与第i个分段数据中的最大值确定第一差值的绝对值，以及根据所述监控数据中的最小值与第i个分段数据中的最小值确定第二差值的绝对值，i为整数，i∈[1,N]；所述服务器根据所述监控数据的平均值与所述第i个分段数据中的最大值确定第三差值的绝对值，以及根据所述监控数据的平均值与所述第i个分段数据中的最小值确定第四差值的绝对值，i为整数，i∈[1,N]；
所述服务器根据所述第一差值的绝对值、所述第二差值的绝对值、所述第三差值的绝对值和所述第四差值的绝对值确定所述第i个分段数据中的最大值的权重和所述第i个分段数据中的最小值的权重；所述服务器根据所述第i个分段数据中的最大值的权重和所述第i个分段数据中的最小值的权重对所述第i个分段数据进行抽稀，得到第i抽稀后的数据，所述第一抽稀后的数据包括所述N个分段数据抽稀后的数据。6.根据权利要求5所述的方法，其特征在于，所述服务器根据所述第一差值的绝对值、所述第二差值的绝对值、所述第三差值的绝对值和所述第四差值的绝对值确定所述第i个分段数据中的最大值的权重和所述第i个分段数据中的最小值的权重，包括：若所述第一差值的绝对值小于所述第二差值的绝对值，所述服务器更新所述第i个分段数据中的最大值的权重；若所述第一差值的绝对值大于所述第二差值的绝对值，所述服务器更新所述第i个分段数据中的最小值的权重；若所述第一差值的绝对值等于所述第二差值的绝对值，所述服务器更新所述第i个分段数据中的最大值的权重和所述第i个分段数据中的最小值的权重；若所述第三差值的绝对值大于所述第四差值的绝对值，所述服务器更新所述第i个分段数据中的最大值的权重；若所述第三差值的绝对值小于所述第四差值的绝对值，所述服务器更新所述第i个分段数据中的最小值的权重；若所述第三差值的绝对值等于所述第四差值的绝对值，所述服务器更新所述第i个分段数据中的最大值的权重和所述第i个分段数据中的最小值的权重。7.根据权利要求6所述的方法，其特征在于，所述服务器根据所述第一差值的绝对值、所述第二差值的绝对值、所述第三差值的绝对值和所述第四差值的绝对值确定所述第i个分段数据中的最大值的权重和所述第i个分段数据中的最小值的权重，还包括：若所述第一差值的绝对值等于0，所述服务器确定所述第i个分段数据中的最大值的权重为极值权重；若所述第二差值的绝对值等于0，所述服务器确定所述第i个分段数据中的最小值的权重为极值权重。8.根据权利要求5-7中任一项所述的方法，其特征在于，所述服务器根据所述第i个分段数据中的最大值的权重和所述第i个分段数据中的最小值的权重对所述第i个分段数据进行抽稀，包括：若所述第i个分段数据中的最大值的权重大于所述第i个分段数据中的最小值的权重，所述服务器保留所述第i个分段数据中的最大值，抽稀所述第i个分段数据中除最大值之外的其他数据；若所述第i个分段数据中的最大值的权重小于所述第i个分段数据中的最小值的权重，所述服务器保留所述第i个分段数据中的最小值，抽稀所述第i个分段数据中除最小值之外的其他数据；若所述第i个分段数据中的最大值的权重等于所述第i个分段数据中的最小值的权重，所述服务器保留所述第i个分段数据中的最大值和所述第i个分段数据中的最小值。
9.根据权利要求2-8中任一项所述的方法，其特征在于，在所述服务器根据所述监控数据的最大值、所述监控数据的最小值和所述监控数据的平均值，对所述N个分段数据中的每个分段数据进行抽稀，得到第一抽稀后的数据之后，所述方法还包括：所述服务器确定所述第一抽稀后的数据包括的数据点的个数与一个数据点的宽度的乘积大于阈值，所述阈值是根据浏览器的页面宽度确定的，所述查询请求消息包括所述浏览器的页面宽度和所述一个数据点的宽度；所述服务器根据所有曲线包括的数据点的个数、曲线个数、所述一个数据点的宽度和常量，确定第二期望点数；所述服务器根据所述第一抽稀后的数据包括的数据点的个数和所述第二期望点数确定第二抽稀步长；所述服务器根据所述第二抽稀步长将所述第一抽稀后的数据划分为M个分段数据，M为大于或等于1的整数；所述服务器根据所述第一抽稀后的数据的最大值、所述第一抽稀后的数据的最小值和所述第一抽稀后的数据的平均值，对所述M个分段数据中的每个分段数据进行抽稀，得到第二抽稀后的数据；所述服务器反馈所述第二抽稀后的数据。10.一种数据抽稀方法，其特征在于，包括：终端向服务器发送查询请求消息，所述查询请求消息包括数据标识和指示信息，所述数据标识用于指示待查询的监控数据，所述指示信息用于指示确定第一抽稀步长的方式；所述终端接收来自所述服务器的第一抽稀后的数据，所述第一抽稀后的数据是根据所述监控数据的最大值、所述监控数据的最小值和所述监控数据的平均值，对N个分段数据中的每个分段数据进行抽稀得到的，所述N个分段数据是根据第一抽稀步长划分所述监控数据确定的，所述第一抽稀步长是依据所述指示信息指示的方式确定的；所述终端根据所述第一抽稀后的数据绘制曲线，并显示所述第一抽稀后的数据的曲线。11.根据权利要求10所述的方法，其特征在于，若所述指示信息指示第一方式，所述第一抽稀步长是根据浏览器的页面宽度和一个数据点的宽度确定的，所述查询请求消息还包括所述浏览器的页面宽度和所述一个数据点的宽度，所述浏览器用于查询所述监控数据并显示所述监控数据；若所述指示信息指示第二方式，所述第...

【专利技术属性】
技术研发人员：李雪皓，王强，史宁，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：