大佬们,小弟说一下需求,看看用APScheduler合不合适,求指点

应用场景是这样的:
1,每天早上大概12点,爬取一个API,是一个任务列表。这个任务一天只执行一次。
2,这个列表里面有N个子列表,不固定。每个子列表里都有参数,可以构造URL去爬取网页数据(一个列表就等于是一个任务)
3,然后 固定的 每半小时扫一次这些任务获取数据。
4,每个任务都有一个结束时间,都不一样。监控这些时间。超过这个时间,不再爬取。然后,还有一个需求就是 在这个结束之前十分钟单独启动这个任务的爬取程序,扫一次。然后一小时后。再扫一次这个任务看看有没有遗漏的数据变动,然后删掉这个任务,直到删光任务队列。
5,我是想把这个任务队列存在REDIS里,这样程序异常,或出别的意外,重启程序可以读取redis里面这个队列接着执行。
6,当任务时间都到了,都从队列里删除了之后。程序就休眠 直接第二天12点,爬取任务列表后,继续运行。就这样循环。

以上应用场景,用APScheduler 是否合适 。

阅读 1.6k
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进