请教一个关于puppeteer的问题

新手上路,请多包涵

用node写了个服务接口,前端发出请求,接受到请求后就去抓取网页,如果有4,5个并发,puppeteer好像是排队打开的,导致请求就卡住了,响应特别慢,请问下这个有什么解决方案没?

阅读 2.3k
2 个回答

你可以将爬取网页做成任务制,前端通过请求提交任务(任务保存后,立马返回了),后端依次处理爬取任务。

你用一个page对象还是四五个page对象?

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进