pyspider任务自动Pause的触发条件(fetch失败次数),暂停时间等在哪里可以配置

如题。
在采集过程中,经常由于代理质量的问题,出现连续fetch异常,导致任务自动变为Pause状态,并且一停就好几分钟。
能否自己控制fetch异常次数和暂停时间?在哪儿设置?

阅读 3.8k
1 个回答
新手上路,请多包涵

启动时候的配置文件中的,scheduler的fail-pause-num字段,设置大点吧

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进