共被编辑 4 次

版本 更新时间 贡献者 编辑原因 操作
#r4 8月14日 stephen2017401 更新问题 查看

scrapy-redis分布式爬虫的问题

master 端只负责request 去重和存储 调度,现在的问题是 如果一个网站 如果有几千页,我想用分布式,此时不能用在mater 的redis 里面 lpush 慢慢的一个个的去塞进队列了,有什么方法可以快速做呢?

我想到的就是此时不需要lpush了,每个爬虫 分别爬不同的页数存数据库即可?

#r3 8月14日 stephen2017401 更新问题 查看

scrapy-redis分布式爬虫的问题

master 端只负责request 去重和存储 调度,现在的问题是 如果一个网站 如果有几千页,我想用分布式,此时不能用在mater 的redis 里面 lpush 慢慢的一个个的去塞进队列了,有什么方法可以快速做呢?

我想到的就是此时不需要lpush了,每个爬虫 分别爬不同的页数存数据库即可?

#r2 8月14日 stephen2017401 更新问题 查看

scrapy-redis分布式爬虫的问题

master 端只负责request 去重和存储 调度,现在的问题是 如果一个网站 如果有几千页,我想用分布式,此时不能用在mater 的redis 里面 lpush 慢慢的一个个的去塞进队列了,有什么方法可以快速做呢?

我想到的就是此时不需要lpush了,每个爬虫 分别爬不同的页数存数据库即可?

#r1 8月14日 stephen2017401 创建问题 查看

scrapy-redis分布式的问题

master 端只负责request 去重和存储 调度,现在的问题是 如果一个网站 如果有几千页,我想用分布式,此时不能用在mater 的redis 里面 lpush 慢慢的一个个的去塞进队列了,有什么方法可以快速做呢?

我想到的就是此时不需要lpush了,每个爬虫 分别爬不同的页数存数据库即可?