python多个爬虫，爬到一半停掉，不继续，是堵塞么？

Question

python启动多个爬虫，有在pycharm直接运行，也有过在cmd下运行。但每次有爬多个时，会停下，不继续，就像卡在那里一样，这是不是堵塞？有什么好的解决办法么?

Answer 1

没图你说个xx

Answer 2

不一定，有可能是假死。我写node也会这样。我会定期使用nodejs去touch一个文件，这样可以更新文件的最后访问时间。如果太长没访问，我的另一个进程会重启nodejs进程

Answer 3

如果cmd下，有可能是cmd获得了focus，你试下ctrl+c，看是否继续进行。

Answer 4

尽量给点反应时间，用sleep休息一下

Answer 5

爬虫卡住得因素很多啊 首先网络波动 其次代理失效或者代理慢 再其次访问速度被限制
你完全可以写个心跳线程或者logging