分布式部署, 节点失效会不会到时 task 丢失?

Question

主机上部署了 mysql + rabbitmq + pyspider全部节点, 其他机器部署了部分 fetcher 和 processer,
问题是如这些节点失效,正在处理的 task 会不会丢失?

Answer 1

不会，如果其他节点失效，scheduler 会判断任务执行超时，然后发起重试，这个重试没有次数限制。
如果 scheduler 失效，它会从数据库恢复任务。
最坏的结果就是重抓一遍。

Answer 2

楼主你其他机器的config.json是怎么配置的，能给我看看吗？