我用crontab 启动一个爬虫,但是爬虫没有在2分钟内关掉
现在有个方案就是while 死循环内
2分钟内正常运行完毕就不管,如果运行的时间超过1小时 就把这个spider 关闭,如何操作
我用crontab 启动一个爬虫,但是爬虫没有在2分钟内关掉
现在有个方案就是while 死循环内
2分钟内正常运行完毕就不管,如果运行的时间超过1小时 就把这个spider 关闭,如何操作
2 回答5k 阅读✓ 已解决
2 回答1k 阅读✓ 已解决
4 回答936 阅读✓ 已解决
3 回答1.1k 阅读✓ 已解决
3 回答1.1k 阅读✓ 已解决
1 回答1.7k 阅读✓ 已解决
1 回答1.2k 阅读✓ 已解决
建议搜索下扩展中间件。excetions,有关于spider未接收到信号的说明。