pyspider任务自动Pause的触发条件(fetch失败次数),暂停时间等在哪里可以配置

如题。
在采集过程中,经常由于代理质量的问题,出现连续fetch异常,导致任务自动变为Pause状态,并且一停就好几分钟。
能否自己控制fetch异常次数和暂停时间?在哪儿设置?

阅读 904
评论 2018-11-27 提问
    1 个回答
    pyspider_test1
    • 3
    • 新人请关照

    启动时候的配置文件中的,scheduler的fail-pause-num字段,设置大点吧

    评论 赞赏 2018-12-20
      撰写回答

      登录后参与交流、获取后续更新提醒