node爬虫,很多数据,爬到中途就不动了,有什么解决办法

爬虫爬到中途就不动了,不报错,也不继续执行。

有没有不动的时候,继续从当前执行的办法。node的解决办法,或是编译器有这方面的解决办法。

阅读 4.2k
2 个回答

弄个文件记录你爬过的信息。
不动的时候杀掉重新读取文件记录爬。
不过建议你先解决不动的问题

  1. 有可能死循环
  2. 有可能异步等待没设超时

建议打断点或者console.log调试一下

不动了是个很模糊的概念
你该看看日志在输出什么,遇到了什么问题

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题