数据采集流程的控制方法、装置、设备、系统和存储介质制造方法及图纸

本申请提出一种数据采集流程的控制方法、装置、设备、系统和存储介质，该方法通过对数据采集流程进行监控，在检测到数据采集流程中存在数据采集流程与设定的标准数据采集流程不符的异常情况时，能够根据异常情况调整数据采集流程的采集周期，实现自动对异常情况进行干预的目的，智能化程度高。智能化程度高。智能化程度高。

【技术实现步骤摘要】
数据采集流程的控制方法、装置、设备、系统和存储介质


[0001]本申请涉及数据采集
，尤其涉及一种数据采集流程的控制方法、装置、设备、系统和存储介质。

技术介绍

[0002]现有技术中，通过网页的链接地址，能够寻找网页并读取网页中公开的感兴趣数据，实现数据采集的目的。但是，目前在数据采集的过程中，往往需要人工检查数据采集流程的健康状况，针对异常情况做人工干预，智能化程度低。

技术实现思路

[0003]有鉴于此，本申请提出一种数据采集流程的控制方法、装置、设备、系统和存储介质，以解决目前在数据采集的过程中，往往需要人工检查数据采集流程的健康状况，针对异常情况做人工干预，智能化程度低的问题。
[0004]本申请提出的技术方案具体如下：
[0005]第一方面，本申请提供了一种数据采集流程的控制方法，包括：
[0006]监控数据采集流程；所述数据采集流程为从设定网页采集数据的流程；
[0007]若检测到所述数据采集流程中存在异常情况，则根据所述异常情况调整所述数据采集流程的采集周期；所述异常情况包括所述数据采集流程与设定的标准数据采集流程不符的情况。
[0008]第二方面，本申请提供了一种一种数据采集流程的控制装置，包括：
[0009]监控模块，用于监控数据采集流程；所述数据采集流程为从设定网页采集数据的流程；
[0010]调整模块，用于若检测到所述数据采集流程中存在异常情况，则根据所述异常情况调整所述数据采集流程的采集周期；所述异常情况包括所述数据采集流程与设定的标准数据采集流程不符的情况。
[0011]第三方面，本申请提供了一种电子设备，包括：
[0012]存储器和处理器；
[0013]其中，所述存储器用于存储程序；
[0014]所述处理器，用于通过运行所述存储器中的程序，实现以上任意一项所述的方法。
[0015]第四方面，本申请提供了一种数据采集系统，包括：
[0016]数据采集模组和智能监控模组；
[0017]所述数据采集模组，用于从设定网页采集数据；
[0018]所述智能监控模组，用于按照以上任一项所述的方法，对所述数据采集模组进行监控。
[0019]第五方面，本申请提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现以上任意一项所述的方法。
[0020]本申请提出的数据采集流程的控制方法，通过对数据采集流程进行监控，在检测到数据采集流程中存在数据采集流程与设定的标准数据采集流程不符的异常情况时，能够根据异常情况调整数据采集流程的采集周期，实现自动对异常情况进行干预的目的，智能化程度高。
附图说明
[0021]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0022]图1是本申请实施例提供的一种数据采集流程的控制方法的流程示意图；
[0023]图2是本申请实施例提供的一种数据采集流程的控制装置的结构示意图；
[0024]图3是本申请实施例提供的一种电子设备的结构示意图；
[0025]图4是本申请实施例提供的一种数据采集系统的结构示意图；
[0026]图5是本申请实施例提供的另一种数据采集系统的结构示意图。
具体实施方式
[0027]本申请实施例技术方案适用于对数据采集流程进行监控的应用场景，采用本申请实施例技术方案，能够自动检测数据采集流程中的异常情况，并且根据异常情况调整数据采集流程的采集周期，实现自动对异常情况进行干预的目的，智能化程度高。
[0028]示例性的，本申请实施例技术方案可应用于硬件处理器等硬件设备，或包装成软件程序被运行，当硬件处理器执行本申请实施例技术方案的处理过程，或上述软件程序被运行时，可以实现对数据采集流程的监控。本申请实施例只对本申请技术方案的具体处理过程进行示例性介绍，并不对本申请技术方案的具体执行形式进行限定，任意形式的可以执行本申请技术方案处理过程的技术实现形式，都可以被本申请实施例所采用。
[0029]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0030]本申请实施例提出一种数据采集流程的控制方法，该方法可以由电子设备执行，该电子设备可以是任意的具有数据及指令处理功能的设备，例如可以是计算机、智能终端、服务器等。参见图1所示，该方法包括：
[0031]S101、监控数据采集流程。
[0032]上述数据采集流程为从设定网页采集数据的流程。其中，上述设定网页为公开且的网页，网页中的信息均为公开且脱敏的信息。可以获取设定网页的网址，通过请求设定网页的网址，连接至设定网页，然后从设定网页中获取感兴趣数据，实现数据采集的目的。
[0033]具体地，本实施例中，可以预先设置标准数据采集流程。标准数据采集流程规定了数据采集的具体步骤，以便于实际在数据采集过程中，能够以标准数据采集流程为依据进行数据采集。
[0034]其中，标准数据采集流程可以包括如下步骤：
[0035]步骤一：可以先获取设定网页的网址。示例性的，设定网页的网址一般为统一资源定位器(Uniform Resource Locator，URL)。
[0036]步骤二：按照设定的采集周期请求设定网页的网址，并获取设定网页中的感兴趣数据。其中，设定网页中的感兴趣数据一般为超文本标记语言(HyperText Markup Language，HTML)文档。
[0037]步骤三：对感兴趣数据进行处理，包括格式转换处理、数据清洗处理等。其中，格式转换处理，包括将步骤二的HTML文档解析为文档对象模型(Document Object Model，DOM)树，并封装成JAVA程序中的对象。数据清洗处理包括按照设定的数据清洗规则，从DOM树中获取规则匹配的字段数据，并将数据进行结构化处理。
[0038]步骤四：将进行格式转换、数据清洗处理后的数据存储到数据库中。
[0039]本申请的实施例中，对实际的数据采集流程进行监控，以便于能够及时发现实际的数据采集流程中的异常情况并针对异常情况进行处理。
[0040]S102、判断数据采集流程中是否存在异常情况；若数据采集流程中存在异常情况，则执行步骤S103；若数据采集流程中不存在异常情况，则重复执行步骤S101。
[0041]具体地，受到网速、处理性能等因素的影响，可能会导致实际的数据采集流程与设定的标准数据采集流程不符，即，导致实际的数据采集流本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据采集流程的控制方法，其特征在于，包括：监控数据采集流程；所述数据采集流程为从设定网页采集数据的流程；若检测到所述数据采集流程中存在异常情况，则根据所述异常情况调整所述数据采集流程的采集周期；所述异常情况包括所述数据采集流程与设定的标准数据采集流程不符的情况。2.根据权利要求1所述的方法，其特征在于，若检测到所述数据采集流程中存在异常情况，则根据所述异常情况调整所述数据采集流程的采集周期，包括：若检测到所述数据采集流程的数据采集效率落后于所述标准数据采集流程中规定的标准数据采集效率，则延长所述采集周期。3.根据权利要求2所述的方法，其特征在于，所述数据采集流程的数据采集效率落后于所述标准数据采集流程中规定的标准数据采集效率包括所述数据采集流程请求网页时的网络延迟次数，大于所述标准数据采集流程中规定的第一次数；若检测到所述数据采集流程的数据采集效率落后于所述标准数据采集流程中规定的标准数据采集效率，则延长所述采集周期，包括：若检测到所述数据采集流程请求网页时的网络延迟次数，大于所述标准数据采集流程中规定的第一次数，则计算所述网络延迟次数与所述第一次数的第一比值；确定所述第一比值和当前的采集周期的乘积，为新的采集周期。4.根据权利要求2所述的方法，其特征在于，所述数据采集流程的数据采集效率落后于所述标准数据采集流程中规定的标准数据采集效率包括所述数据采集流程对采集到的数据进行清洗的清洗时长，大于所述标准数据采集流程中的规定时长；若检测到所述数据采集流程的数据采集效率落后于所述标准数据采集流程中规定的标准数据采集效率，则延长所述采集周期，包括：若检测到所述数据采集流程对采集到的数据进行清洗的清洗时长，大于所述标准数据采集流程中的规定时长，则计算所述清洗时长与所述规定时长的时长差；确定所述时长差的一半与当前的采集周期的和，为新的采集周期。5.根据权利要求2所述的方法，其特征在于，所述数据采集流程的数据采集效率落后于所述标准数据采集流程中规定的标准数据...

【专利技术属性】
技术研发人员：方俊杰，李锦程，崔荣涛，
申请(专利权)人：讯飞医疗科技股份有限公司，
类型：发明
国别省市：