在puppeteer和request之间互相传输cookies

2019-11-28
阅读 2 分钟
10.7k
参考 QQ群 - Javascript高级爬虫 - 作者自建群,欢迎加入! awesome-java-crawler - 作者收集的爬虫相关工具和资料 puppeteer中文文档 request.js库 前言 目的是实现用puppeteer实现登录流程自动化,把登录后获取到的合法cookies传输给node端,实际大量抓取数据则使用request,提高抓取性能和可靠性。 puppeteer -> r...

一个简单的puppeteer例子

2019-09-17
阅读 2 分钟
4.5k
工具和资料 QQ群 - Javascript高级爬虫 (832946826) - 作者自建群,欢迎加入! awesome-java-crawler - 作者收集的爬虫相关工具和资料 前言 本脚本作用是抓取掌阅书城里男频女频各分类的已完结书籍信息,按好评排序只抓前三页。这个页面没有任何反爬措施,适合作为简单例子。 大概开发流程: 人工分析页面,解析URL和分...