一般来说,一个任务失败了三次,就会显示failed。这个时候在数据表里面的status是3。status这个字段具体含义如下:1: 任务失败,需要重新执行的2: 任务执行成功的3: 任务失败,并且已经达到最大重试次数的。所以,可以在爬虫脚本里面手动的从数据库里面把status=3的任务的Url提取出来再去爬取
一般来说,一个任务失败了三次,就会显示failed。这个时候在数据表里面的status是3。
status这个字段具体含义如下:
1: 任务失败,需要重新执行的
2: 任务执行成功的
3: 任务失败,并且已经达到最大重试次数的。
所以,可以在爬虫脚本里面手动的从数据库里面把status=3的任务的Url提取出来再去爬取