pyspider 中 failed 的任务怎么retry

一开始的任务没有设置retry_delay,过了一夜看到大约有几十个task failed,如果我想重试这些failed的task,该怎么操作?

阅读 4.1k
1 个回答

一般来说,一个任务失败了三次,就会显示failed。这个时候在数据表里面的status是3。
status这个字段具体含义如下:
1: 任务失败,需要重新执行的
2: 任务执行成功的
3: 任务失败,并且已经达到最大重试次数的。
所以,可以在爬虫脚本里面手动的从数据库里面把status=3的任务的Url提取出来再去爬取

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
宣传栏