- scrapy-redis分布式爬虫启动后,正在爬取时,能否在一个新的机器上运行scrapy runspdier xx.py来增加slave端?会爬取到相同的url吗?
- 一个正在运行项目,已经在settings.py中配置了scrapy-redis相关的设置(REDIS_HOST等),只是在spider.py文 件中继承的是scrapy.Spider,没有继承RedisSpider,先在一台机器上运行这个爬虫,然后在另一台机器也启动这个爬虫(不是同时),他们会爬取到相同的url吗?
- 在爬虫项目中,scrapy crawl 和 scrapy runspider的区别是什么?