scrapy爬取易车网数据,假死

各位大神好,我在用scrapy爬取易车网数据,但是在运行五六个小时之后,就会出现假死状态,如下图:

clipboard.png
一直停留在post状态,求问这个怎么解决?谢谢~

阅读 4k
1 个回答

写爬虫有时会出现爬虫死掉或者出故障的情况,你应该有一个爬取记录,可以接力爬取.

仅凭你的日志看不出问题.

很大的原因是你的CMD假死了,而不是爬虫假死(ง •̀_•́)ง.因为,字符串太多(ง •̀_•́),CMD终端假死...

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题