pyspider中cookies过期如何处理？

Question

当保存的待抓取任务原来使用的cookies在它开始处理时，cookies过期了，这样该任务的callback肯定得不到想要的结果，请问有没有什么办法可以更新cookies？或者说这种情况应该怎么处理？

Answer 1

cookie过期了，肯定需要重新生成。你抓取的时候肯定会有异常或其他例外情况，你捕捉这样的异常，然后再重新按步骤生成新的cookies保存即可。

Answer 2

pyspider 不提供 session 管理功能，过期了需要手动替换。
在 git 版本中 crawl_config 为 fetch 时生效，可以用来更新 cookie。