pyspider在抓取一周前on_start中设置url

Question

更新了on_start中的url地址，一周后程序仍在抓取旧的url，如果彻底清除旧的url？ 需求中这个url列表可能会经常变化。

Answer 1

你使用了 auto_recrawl ?
你可以使用 http://docs.pyspider.org/en/l... 取消掉

如果url 是变化的，建议使用 @cronjob 而不是 auto_recrawl