pyspider设置@every(minutes=15)的问题

新手上路,请多包涵

[问题]
使用pyspider爬取某网站,想每15分钟重新爬取一次,且需要在xx:00,xx:15,xx:30,xx.45这四个时刻之前抓取. 所以我设置on_start()的@every(minutes=15), 并且在上述时刻之前运行spider,比如,在xx:10分运行spider,期望的是在每个小时的xx:10, xx:25, xx:40, xx:55分重启spider。但是结果是,pyspider不管什么时刻运行,都会在xx:00, xx:15, xx:30, xx:45这四个时刻重启。

[请问]
如何解决该问题?谢谢。

阅读 4.1k
2 个回答

使用 auto_recrawl=True 搭配 age=15*60

新手上路,请多包涵

我需要重写on_finish方法,做一些后处理。如果使用auto_recrawl=True的话,无法触发on_finish方法

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进