基于scrapy-redis的分布式爬虫运行的时候不能正常运行 遇到的问题如下截图所示

图片描述

爬虫运行时一直是这样的每一分钟出现一条这样的信息,无限循环。不能爬取下来数据图片描述

这是redis服务端的显示

这样是什么问题,望有高手可以为我解惑,谢谢。

阅读 2.7k
1 个回答

使用scrapy_redis,你要去投放url让spider去爬取,你投放了吗?
比如

redis-cli lpush myspider:start_urls http://google.com
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题