用node写了个服务接口,前端发出请求,接受到请求后就去抓取网页,如果有4,5个并发,puppeteer好像是排队打开的,导致请求就卡住了,响应特别慢,请问下这个有什么解决方案没?
你可以将爬取网页做成任务制,前端通过请求提交任务(任务保存后,立马返回了),后端依次处理爬取任务。
你用一个page对象还是四五个page对象?
page
2 回答1k 阅读✓ 已解决
2 回答2.7k 阅读✓ 已解决
2 回答4.8k 阅读✓ 已解决
2 回答5.4k 阅读
1.8k 阅读
1 回答2k 阅读
你可以将爬取网页做成任务制,前端通过请求提交任务(任务保存后,立马返回了),后端依次处理爬取任务。