在pyhton中有没有一种库或框架 可以动态生成任务,并监控其状态,并根据其状态或属性,实时的去掉任务或继续运行

看了celery aps 之类的库,可是网上中文资料太少,还是一头雾水
说一下需求:
1 比如体育比赛,一天有一百场,生成这一百场 比赛的URL 每个为一个任务扔到任务队列里
2 根据其状态比如结束时间,在这个时间前 每20分钟爬取一次数据。时间到了就剔除这个任务不再爬取
3 任务会返回数据存入数据库
有没有类似这样的解决方案 要用到什么样的技术 求大佬们解惑

阅读 810
评论
    1 个回答

    可以用redis。

    100场比赛,以比赛编号为value,时间为score 放入zset,这样就会自动按时间排序。

    然后你每次去取 zset的第一个元素,根据value去取具体的比赛截止时间,未超过则触发爬虫,然后时间+20分钟,超过则从 zset删除。

    也可以不用redis的zset,使用一个有序集合代替。

      撰写回答

      登录后参与交流、获取后续更新提醒