每次运行半小时左右, 直接卡死, log里没有任何报错, 卡死的时候CPU占用率非常高
我在setting.py里设置了download timeout,不是超时的原因
ctrl-c无法正常退出, ctrl-z退出以后, 继续执行还是同样的问题, 半小时后再次卡死
每次运行半小时左右, 直接卡死, log里没有任何报错, 卡死的时候CPU占用率非常高
我在setting.py里设置了download timeout,不是超时的原因
ctrl-c无法正常退出, ctrl-z退出以后, 继续执行还是同样的问题, 半小时后再次卡死
4 回答4.5k 阅读✓ 已解决
1 回答3.2k 阅读✓ 已解决
4 回答3.8k 阅读✓ 已解决
3 回答2.2k 阅读✓ 已解决
1 回答4.4k 阅读✓ 已解决
1 回答3.9k 阅读✓ 已解决
1 回答2.8k 阅读✓ 已解决
先TOP看看是内否过高,还是CPU过高,再找到是被哪些进程占用了
如果都是你的爬虫进程,那就得排查代码,看看是不是哪里一直未被释放
总之从各方面去排查吧