数据爬取应用的创建方法、装置、存储介质及设备制造方法及图纸

本公开涉及一种数据爬取应用的创建方法、装置、存储介质及设备。所述方法包括：定义用于输入所述数据爬取单元的请求参数，所述请求参数中至少包括：待爬取网址；基于所述请求参数中的待爬取网址，执行模拟数据爬取，获得响应数据；根据所述响应数据，确定输出数据；将所述数据爬取单元进行封装，得到所述数据爬取应用，其中，所述数据爬取应用的输入接口根据所述请求参数定义，所述数据爬取应用的输出接口根据所述输出数据定义。由此，通过抽象封装方法生成能够进行数据爬取的数据爬取单元，并基于数据爬取单元生成数据爬取应用，供用户直接使用以实现数据爬取功能，无需重复编写代码，提升数据爬取的效率，可用性强。

【技术实现步骤摘要】
数据爬取应用的创建方法、装置、存储介质及设备
本公开涉及计算机
，具体地，涉及一种数据爬取应用的创建方法、装置、存储介质及设备。
技术介绍
目前，对于数据的爬取，特别是对于网页数据的爬取，一般由代码定义一切，在需要爬取所需数据时，由专业人士编写代码。首先，对相关人员的专业素质要求很高，不具备编程基础的用户往往无法完成代码编写，也就无法实现数据爬取，人员成本很高。另外，具备相关专业知识的技术人员每次有爬取数据的需求，就需要重新编写一次代码，设置相关的参数，间接导致数据爬取效率不高。
技术实现思路
本公开的目的是提供一种数据爬取应用的创建方法、装置、存储介质及设备，以提升数据爬取效率。为了实现上述目的，根据本公开的第一方面，提供一种数据爬取应用的创建方法，所述数据爬取应用至少包括一个数据爬取单元，所述方法包括：定义用于输入所述数据爬取单元的请求参数，所述请求参数中至少包括：待爬取网址；基于所述请求参数中的待爬取网址，执行模拟数据爬取，获得响应数据；根据所述响应数据，确定输出数据；将所述数据爬取单元进行封装，得到所述数据爬取应用，其中，所述数据爬取应用的输入接口根据所述请求参数定义，所述数据爬取应用的输出接口根据所述输出数据定义。可选地，所述根据所述响应数据，确定输出数据，包括：接收针对所述响应数据输入的裁剪指令，所述裁剪指令用于指示对所述响应数据中的冗余信息进行剔除；响应于所述裁剪指令对所述响应数据进行裁剪，得到所述输出数据；>和/或，在得到所述输出数据之后，所述方法还包括以下至少一种：根据预先设置的结果验证表达式，验证所述输出数据中的数据格式是否有效；根据预先设置的翻页条件，判断在得到所述输出数据后是否需要继续执行翻页操作；根据翻页参数，生成下一请求所需的实际参数，所述翻页参数是基于前一响应数据生成的。可选地，所述请求参数中还包括以下至少一种：参数类型信息，所述参数类型为输入、枚举、翻页、固定、计算和引用中的至少一种；输入类型信息，所述输入类型信息为文本、数字、时间、时间范围和集合中的至少一种；采用预设规则表达式表示的过滤字段，所述过滤字段用于通过所述预设规则表达式对输入的所述请求参数进行过滤，得到实际请求参数；用于存储每种参数类型对应的额外信息的选项字段，其中，当所述参数类型为枚举时，所述选项字段中存储的额外信息是枚举值的字典；当所述参数类型为翻页时，所述选项字段中存储的额外信息是翻页条件、翻页间隔时间和最大翻页数；当所述参数类型为引用时，所述选项字段中存储的额外信息是引用的参数名。可选地，所述数据爬取单元为多个时，所述将所述数据爬取单元进行封装，得到所述数据爬取应用，包括：获取连接结构信息，所述连接结构信息中至少包括：数据爬取入口单元的标识信息，以及各个数据爬取单元之间的连接关系；根据所述数据爬取结构信息中的标识信息，确定数据爬取入口单元，并从所述数据爬取入口单元开始，根据所述连接关系依次连接各个所述数据爬取单元，并将最后一个数据爬取单元确定为数据爬取出口单元；对连接之后的所述各个数据爬取单元进行封装，得到所述数据爬取应用，其中，所述数据爬取应用的输入接口位于所述数据爬取入口单元，所述数据爬取应用的输出接口位于所述数据爬取出口单元。可选地，所述连接关系包括依赖关系；所述从所述数据爬取入口单元开始，根据所述连接关系依次连接各个所述数据爬取单元，包括：若第一数据爬取单元为第二数据爬取单元的前一数据爬取单元、且所述第一数据爬取单元与第二数据爬取单元存在依赖关系，则将所述第二数据爬取单元的请求参数与所述第一数据爬取单元的输出数据进行绑定；以及为所述第一数据爬取单元的输出数据设置配置信息，以将所述第一数据爬取单元的输出数据转化为对所述第二数据爬取单元的请求参数有效的形式。可选地，所述连接关系包括传递关系；所述从所述数据爬取入口单元开始，根据所述连接关系依次连接各个所述数据爬取单元，包括：若第三数据爬取单元为第四数据爬取单元的前一数据爬取单元、且所述第三数据爬取单元与第四数据爬取单元存在传递关系，则在所述第三数据爬取单元和所述第四数据爬取单元之间定义过滤器，所述过滤器用于确定所述第三数据爬取单元的输出数据中能够传递给所述第四数据爬取单元的流转数据、以及所述流转数据传递到所述第四数据爬取单元的请求参数的数据转换规则。可选地，所述数据爬取应用具有爬取任务参数配置界面，在得到所述数据爬取应用之后，所述方法还包括：接收用户在所述任务参数配置界面上输入的任务参数；采用所述数据爬取应用基于所述任务参数进行数据爬取，得到数据爬取结果。根据本公开的第二方面，提供一种数据爬取应用的创建装置，所述数据爬取应用至少包括一个数据爬取单元，所述装置包括：定义模块，用于定义用于输入所述数据爬取单元的请求参数，所述请求参数中至少包括：待爬取网址；第一爬取模块，用于基于所述请求参数中的待爬取网址，执行模拟数据爬取，获得响应数据；第一确定模块，用于根据所述响应数据，确定输出数据；封装模块，用于将所述数据爬取单元进行封装，得到所述数据爬取应用，其中，所述数据爬取应用的输入接口根据所述请求参数定义，所述数据爬取应用的输出接口根据所述输出数据定义。可选地，所述第一确定模块包括：接收子模块，用于接收针对所述响应数据输入的裁剪指令，所述裁剪指令用于指示对所述响应数据中的冗余信息进行剔除；裁剪子模块，用于响应于所述裁剪指令对所述响应数据进行裁剪，得到所述输出数据；和/或，所述装置还包括以下至少一种：验证模块，用于在得到所述输出数据之后，根据预先设置的结果验证表达式，验证所述输出数据中的数据格式是否有效；判断模块，用于根据预先设置的翻页条件，判断在得到所述输出数据后是否需要继续执行翻页操作；参数生成模块，用于根据翻页参数，生成下一请求所需的实际参数，所述翻页参数是基于前一响应数据生成的。可选地，所述请求参数中还包括以下至少一种：参数类型信息，所述参数类型为输入、枚举、翻页、固定、计算和引用中的至少一种；输入类型信息，所述输入类型信息为文本、数字、时间、时间范围和集合中的至少一种；采用预设规则表达式表示的过滤字段，所述过滤字段用于通过所述预设规则表达式对输入的所述请求参数进行过滤，得到实际请求参数；用于存储每种参数类型对应的额外信息的选项字段，其中，当所述参数类型为枚举时，所述选项字段中存储的额外信息是枚举值的字典；当所述参数类型为翻页时，所述选项字段中存储的额外信息是翻页条件、翻页间隔时间和最大翻页数；当所述参数类型为引用时，所述选项字段中存储的额外信息是引用的参数名。可选地，所述数据爬取单元为多个时，所述封装模块包括：获取子模块，用于获取连接结构信息，所述连接结构信息中至本文档来自技高网...

【技术保护点】
1.一种数据爬取应用的创建方法，其特征在于，所述数据爬取应用至少包括一个数据爬取单元，所述方法包括：/n定义用于输入所述数据爬取单元的请求参数，所述请求参数中至少包括：待爬取网址；/n基于所述请求参数中的待爬取网址，执行模拟数据爬取，获得响应数据；/n根据所述响应数据，确定输出数据；/n将所述数据爬取单元进行封装，得到所述数据爬取应用，其中，所述数据爬取应用的输入接口根据所述请求参数定义，所述数据爬取应用的输出接口根据所述输出数据定义。/n

【技术特征摘要】
1.一种数据爬取应用的创建方法，其特征在于，所述数据爬取应用至少包括一个数据爬取单元，所述方法包括：
定义用于输入所述数据爬取单元的请求参数，所述请求参数中至少包括：待爬取网址；
基于所述请求参数中的待爬取网址，执行模拟数据爬取，获得响应数据；
根据所述响应数据，确定输出数据；
将所述数据爬取单元进行封装，得到所述数据爬取应用，其中，所述数据爬取应用的输入接口根据所述请求参数定义，所述数据爬取应用的输出接口根据所述输出数据定义。


2.根据权利要求1所述的方法，其特征在于，所述根据所述响应数据，确定输出数据，包括：
接收针对所述响应数据输入的裁剪指令，所述裁剪指令用于指示对所述响应数据中的冗余信息进行剔除；
响应于所述裁剪指令对所述响应数据进行裁剪，得到所述输出数据；
和/或，
在得到所述输出数据之后，所述方法还包括以下至少一种：
根据预先设置的结果验证表达式，验证所述输出数据中的数据格式是否有效；
根据预先设置的翻页条件，判断在得到所述输出数据后是否需要继续执行翻页操作；
根据翻页参数，生成下一请求所需的实际参数，所述翻页参数是基于前一响应数据生成的。


3.根据权利要求1所述的方法，其特征在于，所述请求参数中还包括以下至少一种：
参数类型信息，所述参数类型为输入、枚举、翻页、固定、计算和引用中的至少一种；
输入类型信息，所述输入类型信息为文本、数字、时间、时间范围和集合中的至少一种；
采用预设规则表达式表示的过滤字段，所述过滤字段用于通过所述预设规则表达式对输入的所述请求参数进行过滤，得到实际请求参数；
用于存储每种参数类型对应的额外信息的选项字段，其中，当所述参数类型为枚举时，所述选项字段中存储的额外信息是枚举值的字典；当所述参数类型为翻页时，所述选项字段中存储的额外信息是翻页条件、翻页间隔时间和最大翻页数；当所述参数类型为引用时，所述选项字段中存储的额外信息是引用的参数名。


4.根据权利要求1所述的方法，其特征在于，所述数据爬取单元为多个时，所述将所述数据爬取单元进行封装，得到所述数据爬取应用，包括：
获取连接结构信息，所述连接结构信息中至少包括：数据爬取入口单元的标识信息，以及各个数据爬取单元之间的连接关系；
根据所述连接结构信息中的标识信息，确定数据爬取入口单元，并从所述数据爬取入口单元开始，根据所述连接关系依次连接各个所述数据爬取单元，并将最后一个数据爬取单元确定为数据爬取出口单元；
对连接之后的所述各个数据爬取单元进行封装，得到所述数据爬取应用，其中，所述数据爬取应用的输入接口位于所述数据爬取入口单元，所述数据爬取应用...

【专利技术属性】
技术研发人员：何熠皓，
申请(专利权)人：北京国双科技有限公司，
类型：发明
国别省市：北京;11