pyspider 定时爬取问题

Question

在写爬虫的时候，发现 在代码中设置了 every 之后，21号爬取了一次之后，今天看 result 没有更新，那个 lastcrawltime 依旧是 21号的。请问是不是我的参数设置的不正确？

Answer 1

你贴的这个 task 的图，是什么任务的？

贴的是 detail_page 的任务的

题主给 index_page 设置了小于 cronjob 间隔的时间。然而没有给 detail_page 设置。这样 detail_page 是不会被重新调度的

project 队列状态，最近活动任务是怎样的？

Answer 2

有可能是 every 和 age 不匹配。如果 age 没问题的话，说实话这属于疑难杂症了，我也经常遇到，我都是去 taskdb 把相应的表清空，然后重启 pyspider 重新运行项目

Answer 3

请问这个问题解决了么？我也遇到了同样的状况，但是我的age是小于every的，到现在还是没有自动抓取。 必须要手动才可以重新调度任务，感觉他们就抓取一次就停了