我用crontab 启动一个爬虫,但是爬虫没有在2分钟内关掉
现在有个方案就是while 死循环内
2分钟内正常运行完毕就不管,如果运行的时间超过1小时 就把这个spider 关闭,如何操作
我用crontab 启动一个爬虫,但是爬虫没有在2分钟内关掉
现在有个方案就是while 死循环内
2分钟内正常运行完毕就不管,如果运行的时间超过1小时 就把这个spider 关闭,如何操作
2 回答4.3k 阅读✓ 已解决
2 回答874 阅读✓ 已解决
1 回答4.1k 阅读✓ 已解决
3 回答877 阅读✓ 已解决
2 回答2.2k 阅读✓ 已解决
4 回答2.6k 阅读
3 回答917 阅读✓ 已解决
建议搜索下扩展中间件。excetions,有关于spider未接收到信号的说明。