scrapy redis 组建构成分布式
有master 和slave 端
master负责分配,slave 负责爬取
但是
6. 在Master端启动redis-server:
redis-server
7. 在Slave端分别启动爬虫,不分先后:
scrapy runspider youyuan.py
8. 在Master端的redis-cli里push一个start_urls
redis-cli> lpush youyuan:start_urls http://www.youyuan.com/find/beijing/mm18-25/advance-0-0-0-0-0-0-0/p1/
通过这种方式push 一个网址到redis 中,现在如果假如 push 5个地址,slave 启动5个爬虫,会一对一分配吗?