scrapy-redis实现分布式时出现的问题,求解答

  1. scrapy-redis分布式爬虫启动后,正在爬取时,能否在一个新的机器上运行scrapy runspdier xx.py来增加slave端?会爬取到相同的url吗?
  2. 一个正在运行项目,已经在settings.py中配置了scrapy-redis相关的设置(REDIS_HOST等),只是在spider.py文 件中继承的是scrapy.Spider,没有继承RedisSpider,先在一台机器上运行这个爬虫,然后在另一台机器也启动这个爬虫(不是同时),他们会爬取到相同的url吗?
  3. 在爬虫项目中,scrapy crawl 和 scrapy runspider的区别是什么?
阅读 1.8k
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题