scrapy分布式爬虫问题

scrapy redis 组建构成分布式 
有master 和slave 端
master负责分配,slave 负责爬取
但是

6. 在Master端启动redis-server:
redis-server

7. 在Slave端分别启动爬虫,不分先后:
scrapy runspider youyuan.py

8. 在Master端的redis-cli里push一个start_urls
redis-cli> lpush youyuan:start_urls http://www.youyuan.com/find/beijing/mm18-25/advance-0-0-0-0-0-0-0/p1/

通过这种方式push 一个网址到redis 中,现在如果假如 push 5个地址,slave 启动5个爬虫,会一对一分配吗?
阅读 1k
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题