数据采集方法及装置制造方法及图纸

本申请提供数据采集方法及装置，其中所述数据采集方法包括：确定待采集数据节点以及所述待采集数据节点对应的待采集数据类型；基于所述待采集数据节点以及所述待采集数据类型，确定各个待采集数据类型对应的待采集数据节点的节点数量；基于所述节点数量，确定所述各个待采集数据类型对应的采集周期；根据所述采集周期，从所述待采集数据节点采集对应的待采集数据类型的数据。集数据类型的数据。集数据类型的数据。

【技术实现步骤摘要】
数据采集方法及装置


[0001]本申请涉及数据处理
，特别涉及一种数据采集方法。本申请同时涉及一种数据采集装置，一种计算设备，以及一种计算机可读存储介质。

技术介绍

[0002]随着视频业务的发展，视频提供方为了提高对用户的视频观看体验，尽量减少用户在观看视频过程中出现的卡顿、花屏、掉线等情况，通常提前将直播的音视频数据推送到接近用户的CDN节点上，使得用户就近取得音视频数据，从而提升用户访问的速度和观看的稳定性，因此，需要及时采集CDN节点的状态数据，以便基于状态数据确定CDN服务的稳定性，然而，由于CDN节点数量众多，采集数据的类型也众多，可能出现采集效率低下的问题。

技术实现思路

[0003]有鉴于此，本申请实施例提供了一种数据采集方法。本申请同时涉及一种数据采集装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的采集效率低下的缺陷。
[0004]根据本申请实施例的第一方面，提供了一种数据采集方法，包括：
[0005]确定待采集数据节点以及所述待采集数据节点对应的待采集数据类型；
[0006]基于所述待采集数据节点以及所述待采集数据类型，确定各个待采集数据类型对应的待采集数据节点的节点数量；
[0007]基于所述节点数量，确定所述各个待采集数据类型对应的采集周期；
[0008]根据所述采集周期，从所述待采集数据节点采集对应的待采集数据类型的数据。
[0009]根据本申请实施例的第二方面，提供了一种数据采集装置，包括：
>[0010]确定模块，被配置为确定待采集数据节点以及所述待采集数据节点对应的待采集数据类型；
[0011]确定数量模块，被配置为基于所述待采集数据节点以及所述待采集数据类型，确定各个待采集数据类型对应的待采集数据节点的节点数量；
[0012]确定周期模块，被配置为基于所述节点数量，确定所述各个待采集数据类型对应的采集周期；
[0013]采集模块，被配置为根据所述采集周期，从所述待采集数据节点采集对应的待采集数据类型的数据。
[0014]根据本申请实施例的第三方面，提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述计算机指令时实现所述数据采集方法的步骤。
[0015]根据本申请实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机指令，所述计算机指令被处理器执行时实现所述数据采集方法的步骤。
[0016]本申请提供的数据采集方法，通过确定待采集数据节点以及所述待采集数据节点
对应的待采集数据类型；基于所述待采集数据节点以及所述待采集数据类型，确定各个待采集数据类型对应的待采集数据节点的节点数量；基于所述节点数量，确定所述各个待采集数据类型对应的采集周期；根据所述采集周期，从所述待采集数据节点采集对应的待采集数据类型的数据。实现了基于不同待采集数据类型对应的待采集数据节点的节点数量，动态地调整待采集数据类型的采集周期，以便保障数据采集的时效性，并提高数据采集效率。
附图说明
[0017]图1是本申请一实施例提供的一种数据采集方法的流程图；
[0018]图2是本申请一实施例提供的一种数据采集方法中的聚合后的数据示意图；
[0019]图3是本申请一实施例提供的一种数据采集方法的架构示意图；
[0020]图4是本申请一实施例提供的一种应用于直播场景的数据采集方法的处理流程图；
[0021]图5是本申请一实施例提供的一种应用于点播场景的数据采集方法的处理流程图；
[0022]图6是本申请一实施例提供的一种数据采集装置的结构示意图；
[0023]图7是本申请一实施例提供的一种计算设备的结构框图。
具体实施方式
[0024]在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
[0025]在本申请一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请一个或多个实施例。在本申请一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本申请一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0026]应当理解，尽管在本申请一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0027]首先，对本申请一个或多个实施例涉及的名词术语进行解释。
[0028]CDN(Content Delivery Network，内容分发网络)：是构建在现有网络基础之上的智能虚拟网络，依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度和命中率。CDN的关键技术主要有内容存储和分发技术。
[0029]CDN节点：处于网络边缘(不同地域如省份、城市)的分发内容的服务器节点。用于进行内容存储，位于用户接入点，是面向最终用户的内容提供设备，可缓存静态Web内容和
流媒体内容，实现内容的边缘传播和存储，以便用户的就近访问。
[0030]ICMP(Internet Control Message Protocol，因特网控制报文协议)：是TCP/IP协议簇的一个子协议，用于在IP主机、路由器之间传递控制消息。其中，控制消息是指网络通不通、主机是否可达、路由是否可用等网络本身的消息。
[0031]SNMP(Simple Network Management Protocol，简单网络管理协议)：是用于在IP网络管理网络节点(服务器、工作站、路由器、交换机等)的一种标准协议，它是一种应用层协议。可以用于采集节点流量以计算带宽。
[0032]HTTP(Hypertext Transfer Protocol，超文本传输协议)：是一个简单的请求
‑
响应协议，它通常运行在TCP之上。它指定了客户端可能发送给服务器什么样的消息以及得到什么样的响应，可以用于判断设备节点的HTTP服务是否正常。
[0033]TCP(Transmission Control Protocol，TCP)：是一种面向连接的、可靠的、基于字节流的传输层通信协议传输控制协议，可以用于判断HTTP节点在传输层的通信状态是否正常。
[0034本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据采集方法，其特征在于，包括：确定待采集数据节点以及所述待采集数据节点对应的待采集数据类型；基于所述待采集数据节点以及所述待采集数据类型，确定各个待采集数据类型对应的待采集数据节点的节点数量；基于所述节点数量，确定所述各个待采集数据类型对应的采集周期；根据所述采集周期，从所述待采集数据节点采集对应的待采集数据类型的数据。2.根据权利要求1所述的数据采集方法，其特征在于，所述基于所述节点数量，确定所述各个待采集数据类型对应的采集周期，包括：确定所述各个待采集数据类型对应的类型系数；根据所述节点数量、所述类型系数以及当前设备的性能参数，计算所述待采集数据类型对应的采集周期，其中，所述节点数量与所述采集周期成正比。3.根据权利要求1所述的数据采集方法，其特征在于，所述从所述待采集数据节点采集对应的待采集数据类型的数据，包括：向所述待采集数据节点发送采集对应的待采集数据类型的数据的采集请求；接收所述待采集数据节点基于所述采集请求返回的所述数据；相应的，所述向所述待采集数据节点发送采集对应的待采集数据类型的数据的采集请求之后，还包括：在所述待采集数据类型对应的预设采集时长内未接收到对应的数据的情况下，返回执行向所述待采集数据节点发送采集对应的待采集数据类型的数据的采集请求。4.根据权利要求3所述的数据采集方法，其特征在于，所述在所述待采集数据类型对应的预设采集时长内未接收到对应的数据的情况下，返回执行向所述待采集数据节点发送采集对应的待采集数据类型的数据的采集请求，包括：在所述待采集数据类型对应的预设采集时长内未接收到对应的数据的情况下，将所述采集的超时次数加一；判断所述超时次数是否到达预设次数；若否，返回执行所述向所述待采集数据节点发送采集对应的待采集数据类型的数据的采集请求。5.根据权利要求1所述的数据采集方法，其特征在于，所述根据所述采集周期，从所述待采集数据节点采集对应的待采集数据类型的数据，包括：按照所述采集周期以及所述待采集数据类型的优先级，从所述待采集数据节点采集对应的待采集数据类型的数据。6.根据权利要求1所述的数据采集方法，其特征在于，所述确定待采集数据节点以及所述...

【专利技术属性】
技术研发人员：李朝辉，廖大达，朱翔，
申请(专利权)人：上海哔哩哔哩科技有限公司，
类型：发明
国别省市：