在pyhton中有没有一种库或框架 可以动态生成任务，并监控其状态，并根据其状态或属性，实时的去掉任务或继续运行

Question

看了celery aps 之类的库，可是网上中文资料太少，还是一头雾水
说一下需求：
1 比如体育比赛，一天有一百场，生成这一百场 比赛的URL 每个为一个任务扔到任务队列里
2 根据其状态比如结束时间，在这个时间前 每20分钟爬取一次数据。时间到了就剔除这个任务不再爬取
3 任务会返回数据存入数据库
有没有类似这样的解决方案 要用到什么样的技术 求大佬们解惑

Answer 1

可以用redis。

100场比赛，以比赛编号为value,时间为score 放入zset，这样就会自动按时间排序。

然后你每次去取 zset的第一个元素，根据value去取具体的比赛截止时间，未超过则触发爬虫，然后时间＋20分钟，超过则从 zset删除。

也可以不用redis的zset，使用一个有序集合代替。