0

看了celery aps 之类的库,可是网上中文资料太少,还是一头雾水
说一下需求:
1 比如体育比赛,一天有一百场,生成这一百场 比赛的URL 每个为一个任务扔到任务队列里
2 根据其状态比如结束时间,在这个时间前 每20分钟爬取一次数据。时间到了就剔除这个任务不再爬取
3 任务会返回数据存入数据库
有没有类似这样的解决方案 要用到什么样的技术 求大佬们解惑

2018-03-30 提问
1 个回答
0

可以用redis。

100场比赛,以比赛编号为value,时间为score 放入zset,这样就会自动按时间排序。

然后你每次去取 zset的第一个元素,根据value去取具体的比赛截止时间,未超过则触发爬虫,然后时间+20分钟,超过则从 zset删除。

也可以不用redis的zset,使用一个有序集合代替。

撰写答案

推广链接