【技术实现步骤摘要】
本专利技术涉及设计方案属于大前端开发。通过基于nodejs和前端技术实现网络爬虫的方法。
技术介绍
1、cn201711016509.5一种基于nodejs爬虫抓取并下载图片的实现方法，国云科技股份有限公司-申请日：2017-10-25-主分类号：g06f17/30
2、摘要:本专利技术涉及网页开发
，特别是一种基于nodejs爬虫技术抓取并下载图片的实现方法。所述的方法是安装node.js；然后实现负责响应网络请求的request模块、负责对抓取的数据进行处理的cheerio模块、负责下载图片的fs模块、负责格式化图片名称的path模块和处理异步并发的async模块；封装所有方法模块到js文件并执行，等待检索完毕即可查看下载完的图片。本专利技术提供了一种便捷的网页信息获取方法。
3、201810108285.9识别网络爬虫以及提取网络爬虫特征的方法及装置-公开了识别网络爬虫以及提取网络爬虫特征的方法及装置，此方法包括：确定用户访问特征集中的子集，此子集中的访问特征的访问参数与整体业务访问特征集中的至少一访问特征的访问参数相同；根据子集与整体业务访问特征集确定出综合访问特征集；从作为训练数据的历史日志中获取样本用户的用户访问特征集和综合访问特征集的合集中各访问特征的值，根据合集中各访问特征的值从合集中选择出重要访问特征集。
4、nodejs是一套用来编写高性能网络服务器的javascript工具包。它可以快速构建网络服务及应用的平台，该平台的构建是基于chrome's javascrip
5、并且nodejs对一些特殊用例进行了优化，提供了替代的api，使得v8在非浏览器环境下运行得更好。例如，在服务器环境中，处理二进制数据通常是必不可少的，但javascript对此支持不足，因此，nodejs中的v8增加了buffer类，方便并且高效地处理二进制数据。因此，nodejs不仅仅简单的使用了v8，还对其进行了优化，使其在各个环境下更加优秀，其主要特点如下：
6、1.它是一个javascript运行环境：继承了javascript语言的简易性，学习门槛低，并且使得前端工程师能够更快速的上手。
7、2.依赖于chrome v8引擎进行代码解释：nodejs基于v8引擎，v8是google发布的开源javascript引擎，v8引擎执行javascript的速度非常快，性能出众。
8、3.异步事件驱动：nodejs设计思想中以事件驱动为核心，事件驱动在于异步回调，他提供的大多数api都是基于事件的、异步的风格。而事件驱动的优势在于充分利用系统资源，执行代码无须阻塞等待某种操作完成，有限的资源用于其他任务。事件驱动机制是通过内部单线程高效率地维护事件循环队列来实现的，没有多线程的资源占用和上下文的切换。
9、4.非阻塞i/o：非阻塞i/o的优势就是性能强，结合上述的异步事件驱动，一个线程可以解决大量并发连接，可以极大的利用有限的硬件资源。
10、5.单线程：nodejs是单线程(主线程)为基础的，所有的阻塞全部会放入一个线程池中，然后主线程通过队列的方式跟线程池来协作，使得nodejs的工作非常高效。
11、puppeteer是一个node.js库，它提供了一个高级api来通过开发工具协议控制chrome/chromium。理论上你可以使用它做任何浏览器能做的事情，比如生成页面的屏幕截图和pdf、抓取网页内容、网络请求拦截等，其主要特点如下：
12、1.使用nodejs作为技术栈：前端开发人员可以快速上手开发，无需多余的学习成本。
13、2.基于devtools protocol协议：devtools protocol协议是一种通信协议，它允许puppeteer与google chrome或chromium浏览器进行交互。这个协议使得puppeteer能够通过发送特定的命令来控制浏览器，从而实现自动化测试、页面渲染、监控网络请求等功能。
14、3.上手难度低：只需要几行js代码，便可轻松启动puppeteer，并且官方提供许多参考案例，上手即用。
15、pm2是一个nodejs应用的守护进程管理工具，帮助用户管理和守护应用程序，可以帮助我们更好的管理爬虫服务，使应用运行的更加安全。其主要特点如下：
16、1.自动重启：当应用意外终止时会只能自动重启响应应用。
17、2.多核优化：当服务运行在多核cpu的服务上时，可以根据核心数来启动多实例，最大会资源利用。
18、3.负载均衡：所实力运行时会根据各个核心的负载进行用户的均衡分配。
19、4.0秒重启：在更新应用时可以达到应用的无缝切换。
技术实现思路
1、本专利技术的目的是，通过使用大前端技术来实现网络爬虫技术，通过nodejs启动puppeteer服务，来控制chrome/chromium执行浏览网页、拦截请求、截取图片等操作命令，也可以根据用户的js脚本来自定义执行某些程序步骤，并且能够存储用户信息，根据使用用户的不同，不同用户可以在服务中浏览各自的访问历史，并且在用户使用时可以快速切换上下文环境等。
2、本专利技术的技术方案是，一种基于大前端技术实现网络爬虫的方法，主要分为puppeteer爬虫服务、面向用户的可视化交互服务和数据存储服务三个部分；
3、1)面向用户的可视化交互服务：当用户访问目标服务启动的网页时，首先网页展示用户的历史处理数据，如：截取的某网页图片、抓取的某网页的内容、拦截获取的某http请求的内容等；其次也时最重要的功能：提供用户抓取的选项操作，如：网页内容抓取、网页截图、拦截网络请求和执行用户的自定义nodejs代码等选项；
4、2)puppeteer爬虫服务：当用户通过在可视化界面操作并发送抓取命令时，爬虫服务识别命令内容，根据命令内容，识别并执行不同的抓取逻辑；
5、3)数据存储服务：此服务用于存储用户信息，存储的信息包括有：用户信息、用户历史抓取数据、用户所运行puppeteer实例地址等。
6、主要实现步骤如下：puppeteer是一款强大的网页自动化工具，它可以自动执行任务，并获取对于网页数据，因此可以用它作为爬虫来使用。
7、步骤1：初始化用于用户可视化交互的nodejs应用，开发登录界面和操作界面等主要界面，应用分为视图模块、路由模块、核心服务模块，http请求模块等；用户访问经过路由模块到核心服务模块处理，再到展示视图模块的页面，最后用户通过页面操作发送http请求到puppeteer爬虫服务，等待响应；本应用主要起到界面展示、与爬虫服务交互的作用，使用的技术主要有：nodejs、exp本文档来自技高网...
【技术保护点】
1.一种基于大前端技术实现网络爬虫的方法，其特征是，设有Puppeteer爬虫服务模块、面向用户的可视化交互服务和数据存储服务；
2.根据权利要求1所述的基于大前端技术实现网络爬虫的方法，其特征是，提问发送后Z网站，借助前端爬虫服务来使用网站Z，步骤如下：
3.根据权利要求3所述的基于大前端技术实现网络爬虫的方法，其特征是，
【技术特征摘要】
1.一种基于大前端技术实现网络爬虫的方法，其特征是，设有puppeteer爬虫服务模块、面向用户的可视化交互服务和数据存储服务；
2.根据权利要求1所述的基于大前端...
【专利技术属性】
技术研发人员：王健，朱卉明，
申请(专利权)人：焦点科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。