如何让python编写的爬虫实时运行？

Question

问题如标题所说，用scrapy框架写了几个爬虫，由于一些原因，需要实时或者说是隔几十秒左右跑一遍，查了一下好像 time.stop（）能实现，但是我这边加了之后没效果。请求支援

Answer 1

scrapy当队列里面没有任务的时候就会退出。
所以你这样就可以 用crontab计划任务一下

Answer 2

可以用quartz来调度scrapy

Answer 3

我的解决方案是用crontab。不知道和你想的方法是否匹配。