怎样通过Scrapy并行爬取多个页面

比如我要同时爬取关于“python”,“scrapy”,“java”的百度搜索结果,有哪些方法可以让scrapy同时抓取搜索页面?

阅读 5.8k
1 个回答

多写几个 spider 运行

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题