问题对人有帮助,内容完整,我也想知道答案 0 问题没有实际价值,缺少关键内容,没有改进余地 看了celery aps 之类的库,可是网上中文资料太少,还是一头雾水说一下需求: 1 比如体育比赛,一天有一百场,生成这一百场 比赛的URL 每个为一个任务扔到任务队列里 2 根据其状态比如结束时间,在这个时间前 每20分钟爬取一次数据。时间到了就剔除这个任务不再爬取 3 任务会返回数据存入数据库 有没有类似这样的解决方案 要用到什么样的技术 求大佬们解惑 关注 | 2 收藏 评论邀请回答编辑举报历史版本 刘三爷 11 2018-03-30 提问 提交评论 × 评论支持部分 Markdown 语法:**bold**_italic_[link](http://example.com)> 引用`code`- 列表。同时,被你 @ 的用户也会收到通知
答案对人有帮助,有参考价值 0 答案没帮助,是错误的答案,答非所问 可以用redis。 100场比赛,以比赛编号为value,时间为score 放入zset,这样就会自动按时间排序。 然后你每次去取 zset的第一个元素,根据value去取具体的比赛截止时间,未超过则触发爬虫,然后时间+20分钟,超过则从 zset删除。 也可以不用redis的zset,使用一个有序集合代替。 评论 · 2赞赏编辑 夕阳晒裤衩 226 2018-03-31 回答 提交评论 × 评论支持部分 Markdown 语法:**bold**_italic_[link](http://example.com)> 引用`code`- 列表。同时,被你 @ 的用户也会收到通知